Administrateur DevOps Cloudera H/F Yeets

Le besoin

Dans le cadre de l'exploitation et du maintien en conditions opérationnelles d'une plateforme Cloudera Data Platform / Cloudera Data Platform Private Cloud, le client recherche un Administrateur DevOps Cloudera capable d'assurer l'administration technique de la plateforme, son exploitation quotidienne, son automatisation et son évolution.

La mission s'inscrit dans un environnement de production critique avec des enjeux de disponibilité, performance, sécurité, industrialisation et observabilité.

Missions principales

Administration et exploitation Cloudera

• Administrer et maintenir les environnements Cloudera CDP / CDH.

• Exploiter les principaux composants de l'écosystème :

  • HDFS

  • YARN

  • Hive / Impala

  • HBase

  • Kafka

  • Spark

  • ZooKeeper

  • Ranger

  • Atlas

  • Cloudera Manager

• Assurer les opérations courantes : démarrage/arrêt, contrôle des services, gestion des configurations et des ressources.

• Réaliser les montées de version, patchs et opérations de maintenance.

• Administrer les capacités de stockage, quotas, files YARN et ressources des clusters.

Maintien en conditions opérationnelles

• Superviser la disponibilité et les performances des clusters.

• Analyser les alertes, logs et métriques techniques.

• Diagnostiquer et résoudre les incidents de niveau N2/N3.

• Réaliser les analyses de causes racines et contribuer aux plans d'actions.

• Participer à la gestion des problèmes, changements et opérations planifiées.

• Garantir le respect des procédures d'exploitation et engagements de service.

DevOps et automatisation

• Industrialiser les opérations d'administration et d'exploitation.

• Développer et maintenir des scripts d'automatisation en Python, Shell/Bash ou Ansible.

• Construire et maintenir les pipelines CI/CD associés aux composants plateforme.

• Automatiser :

  • déploiements ;

  • contrôles de conformité ;

  • patching ;

  • provisioning ;

  • sauvegardes/restaurations ;

  • contrôles de santé des clusters.

• Participer à la mise en oeuvre des pratiques Infrastructure as Code.

Sécurité

• Administrer les mécanismes d'authentification et d'autorisation.

• Gérer les droits et politiques via Ranger.

• Participer à l'intégration avec :

  • LDAP / Active Directory ;

  • Kerberos ;

  • certificats TLS.

• Appliquer les règles de durcissement et de sécurité de la plateforme.

• Contribuer au traitement des vulnérabilités et recommandations de sécurité.

Performance et capacité

• Analyser les consommations CPU, mémoire, stockage et réseau.

• Identifier les traitements ou services consommateurs.

• Optimiser les performances Hadoop / Spark / Hive / Impala.

• Participer au capacity planning et à l'évolution des infrastructures.

Environnement technique

Cloudera

• Cloudera Data Platform - CDP

• Cloudera Manager

• CDH selon environnement

• HDFS / YARN

• Hive / Impala

• Spark

• Kafka

• HBase

• ZooKeeper

• Ranger / Atlas

Systèmes / Infrastructure

• Linux / Red Hat Enterprise Linux

• Virtualisation et/ou Cloud

• Kubernetes / OpenShift selon architecture

• Stockage distribué

DevOps / Automatisation

• Ansible

• Git / GitLab

• Jenkins / GitLab CI

• Terraform selon environnement

• Python

• Shell / Bash

• APIs REST

Supervision / Observabilité

• Cloudera Manager

• Prometheus / Grafana

• Elastic / Splunk

• Centreon ou outils équivalents

Activités et livrables attendus

• Documentation d'exploitation et procédures techniques.

• Scripts et playbooks d'automatisation.

• Tableaux de bord de supervision et capacité.

• Comptes rendus d'incidents et analyses RCA.

• Plans de remédiation et d'amélioration continue.

• Dossiers de changement et procédures de mise en production.

• Mise à jour des référentiels techniques et procédures d'exploitation.