Ingénieur Big Data Système Xaas - Run & Admin Avancée H/F Ascalium

VOTRE RÔLE :

Vous rejoignez l'équipe en charge des plateformes Big Data du SI (clusters Hadoop, Kafka, Elastic, NiFi, etc.).

Votre rôle est celui d'un ingénieur plateforme / ingénieur système Big Data, responsable de la stabilité, de la performance, de la sécurité et du RUN avancé des environnements Big Data.

Ce n'est PAS un poste Data Engineer (pas de dev Spark)
C'est un rôle SRE/administration avancée Big Data

Vous êtes le garant de la disponibilité du cluster, du troubleshooting profond, et de la bonne utilisation par les équipes de développement.

VOS RESPONSABLES PRINCIPALES :

RUN & Administration avancée

- Maintenir les plateformes Hadoop, Kafka, Elastic, NiFi...
- Assurer le support N2/N3 et participer aux astreintes.
- Gérer les incidents majeurs, le troubleshooting, les actions correctives.
- Intervenir en HNO en cas de besoin (24/7 en rotation).

Performance & optimisation

- Diagnostiquer les lenteurs (HDFS, YARN, Kafka brokers, Elasticsearch).
- Optimiser les configurations cluster, gérer la scalabilité.
- Ajuster les paramètres système pour améliorer le throughput / latence.

Sécurité

- Gérer Kerberos, Knox, Ranger pour les accès et la gouvernance.
- Garantir la conformité, les politiques d'accès et la sécurité des données.

Monitoring et logs

- Exploiter ELK : Elasticsearch, Logstash, Kibana.
- Superviser l'état du cluster via scripts, dashboards, alerting.
- Bonus : Dynatrace.

Collaboration avec les équipes Dev

- Expliquer comment consommer les services Big Data.
- Accompagner les projets dans l'intégration des données / flux.
- Contribuer à l'industrialisation de l'écosystème Big Data.

Automatisation & intégration

- Scripts Bash/Python.
- Gestion de flux NiFi (si existant).
- Suivi du multitraitement et orchestrations (Oozie en bonus).