Tech Lead - Administrateur DevOps Cloudera H/F Collective Works

CONTEXTE

Dans le cadre de l'exploitation et du maintien en conditions opérationnelles d'une plateforme Cloudera Data Platform / Cloudera Data Platform Private Cloud, le client recherche un Tech Lead / Administrateur DevOps Cloudera capable d'assurer le leadership technique de la plateforme ainsi que son administration technique, son exploitation quotidienne, son automatisation et son évolution.

La mission s'inscrit dans un environnement de production critique avec des enjeux de disponibilité, performance, sécurité, industrialisation et observabilité.

MISSIONS PRINCIPALES

Leadership technique (Tech Lead)

- Être le référent technique de la plateforme Cloudera auprès de l'équipe et des parties prenantes.

- Coordonner techniquement l'équipe d'administration et d'exploitation (répartition des sujets, priorisation, suivi).

- Définir et faire appliquer les standards techniques, bonnes pratiques d'exploitation et d'industrialisation.

- Réaliser les revues techniques (scripts, playbooks, pipelines, changements) et accompagner la montée en compétences de l'équipe.

- Porter les choix techniques et d'évolution de la plateforme et contribuer à la feuille de route technique.

- Être l'interlocuteur technique privilégié des équipes infrastructure, Data, sécurité et développement.

Administration et exploitation Cloudera

- Administrer et maintenir les environnements Cloudera CDP / CDH.

- Exploiter les principaux composants de l'écosystème : HDFS, YARN, Hive / Impala, HBase, Kafka, Spark, ZooKeeper, Ranger, Atlas, Cloudera Manager.

- Assurer les opérations courantes : démarrage/arrêt, contrôle des services, gestion des configurations et des ressources.

- Réaliser les montées de version, patchs et opérations de maintenance.

- Administrer les capacités de stockage, quotas, files YARN et ressources des clusters.

Maintien en conditions opérationnelles

- Superviser la disponibilité et les performances des clusters.

- Analyser les alertes, logs et métriques techniques.

- Diagnostiquer et résoudre les incidents de niveau N2/N3.

- Réaliser les analyses de causes racines et contribuer aux plans d'actions.

- Participer à la gestion des problèmes, changements et opérations planifiées.

- Garantir le respect des procédures d'exploitation et engagements de service.

DevOps et automatisation

- Industrialiser les opérations d'administration et d'exploitation.

- Développer et maintenir des scripts d'automatisation en Python, Shell/Bash ou Ansible.

- Construire et maintenir les pipelines CI/CD associés aux composants plateforme.

- Automatiser : déploiements, contrôles de conformité, patching, provisioning, sauvegardes/restaurations, contrôles de santé des clusters.

- Participer à la mise en oeuvre des pratiques Infrastructure as Code.

Sécurité

- Administrer les mécanismes d'authentification et d'autorisation.

- Gérer les droits et politiques via Ranger.

- Participer à l'intégration avec LDAP / Active Directory, Kerberos et les certificats TLS.

- Appliquer les règles de durcissement et de sécurité de la plateforme.

- Contribuer au traitement des vulnérabilités et recommandations de sécurité.

Performance et capacité

- Analyser les consommations CPU, mémoire, stockage et réseau.

- Identifier les traitements ou services consommateurs.

- Optimiser les performances Hadoop / Spark / Hive / Impala.

- Participer au capacity planning et à l'évolution des infrastructures.

ENVIRONNEMENT TECHNIQUE

- Cloudera : Cloudera Data Platform (CDP), Cloudera Manager, CDH selon environnement, HDFS / YARN, Hive / Impala, Spark, Kafka, HBase, ZooKeeper, Ranger / Atlas

- Systèmes / Infrastructure : Linux / Red Hat Enterprise Linux, virtualisation et/ou Cloud, Kubernetes / OpenShift selon architecture, stockage distribué

- DevOps / Automatisation : Ansible, Git / GitLab, Jenkins / GitLab CI, Terraform selon environnement, Python, Shell / Bash, APIs REST

- Supervision / Observabilité : Cloudera Manager, Prometheus / Grafana, Elastic / Splunk, Centreon ou outils équivalents

COMPÉTENCES RECHERCHÉES

Compétences techniques

- Bonne maîtrise de l'administration Linux.

- Expérience significative sur l'administration de plateformes Cloudera / Hadoop.

- Bonne connaissance des architectures distribuées Big Data.

- Maîtrise de Cloudera Manager.

- Connaissances solides de HDFS, YARN, Hive, Impala et Spark.

- Connaissance de Kafka appréciée.

- Maîtrise des outils d'automatisation et des pratiques DevOps.

- Capacité à analyser des incidents complexes à partir des logs et métriques.

- Connaissance des mécanismes Kerberos, LDAP, TLS et Ranger.

Compétences comportementales

- Leadership technique et capacité à fédérer et faire monter en compétences une équipe.

- Capacité à arbitrer et à porter les décisions techniques.

- Forte capacité d'analyse et de diagnostic.

- Autonomie dans la résolution d'incidents.

- Rigueur et respect des processus de production.

- Capacité à documenter et industrialiser les opérations.

- Bon relationnel avec les équipes infrastructure, Data, sécurité et développement.

- Capacité à intervenir dans un environnement de production critique.

ACTIVITÉS ET LIVRABLES ATTENDUS

- Standards techniques, guides de bonnes pratiques et comptes rendus de revues techniques.

- Documentation d'exploitation et procédures techniques.

- Scripts et playbooks d'automatisation.

- Tableaux de bord de supervision et capacité.

- Comptes rendus d'incidents et analyses RCA.

- Plans de remédiation et d'amélioration continue.

- Dossiers de changement et procédures de mise en production.

- Mise à jour des référentiels techniques et procédures d'exploitation.