Ingénieur DevOps Big Data H/F Objectware

Support Technique Niveau 2 et 3 sur Cloudera Data Platform

- Analyser, diagnostiquer et résoudre les incidents complexes impactant la plateforme Cloudera.

- Assurer un support de niveau 2 et 3 pour les équipes techniques et métiers.

- Gérer les escalades des incidents critiques et collaborer avec l'éditeur si nécessaire.

- Implémenter et améliorer les outils de monitoring avancés pour détecter et anticiper les problèmes.

- Optimiser la performance des services et traitements Hadoop, Spark et Kafka.

Gestion et Optimisation de Kafka

- Administrer et optimiser l'infrastructure Kafka sur Cloudera.

- Gérer la scalabilité et la résilience des clusters Kafka.

- Assurer une supervision efficace des topics, brokers et consommateurs.

- Résoudre les incidents liés à la latence, au throughput et à la gestion des offsets.

- Mettre en place des stratégies de sécurisation et de haute disponibilité de Kafka.

Automatisation et Développement

- Développer et maintenir des scripts Shell, Ansible et Python pour automatiser le support et l'exploitation.

- Automatiser la gestion des incidents récurrents et les procédures de maintenance.

- Déployer des pipelines CI/CD pour les services Cloudera, Kafka et les bases de données associées.

Optimisation et Dimensionnement de l'Infrastructure

- Travailler sur le dimensionnement et le tuning des clusters Cloudera pour une meilleure gestion des charges de travail.

- Dimensionner les divers clusters ElasticSearch en fonction des consommations des ressources.

- Analyser et proposer des évolutions d'architecture en collaboration avec les architectes en fonction des besoins métier.

- Assurer une veille technologique et être force de proposition pour améliorer la plateforme.

Documentation et Transmission de Connaissances

- Documenter les incidents récurrents, les procédures de résolution, les bonnes pratiques et le manuel d'utilisation de l'offre.

- Former les équipes internes sur les outils de monitoring, Kafka, Cloudera et l'analyse des incidents.

- Rédiger des guides de troubleshooting pour faciliter le travail des équipes de support niveau 1 et 2.