Data Engineer Python - Airflow - Énergie H/F Anderson RH

Le besoin

Contexte

Vous intégrerez une équipe Data composée d'environ 6 à 7 développeurs, travaillant principalement sur des technologies SQL et NiFi, ainsi qu'avec un Product Owner et un référent technique.

L'équipe fonctionne en méthode Agile, avec des sprints de 2 semaines, des rituels de suivi, des rétrospectives et la gestion d'un backlog.

Vous interviendrez dans un contexte de maintien en conditions opérationnelles (MCO) et d'amélioration continue, avec pour objectif de faire évoluer progressivement les flux existants vers une architecture davantage orientée Python et Apache Airflow.

L'environnement technique comprend notamment : Python, Apache Airflow, SQL, PostgreSQL, NiFi, API REST, CI/CD et outils de supervision/monitoring.

Missions

• Reprendre, analyser et améliorer des flux Data existants.
• Améliorer la supervision, la fiabilité et le monitoring des pipelines.
• Challenger les solutions existantes et proposer des axes d'amélioration.
• Participer à la migration progressive des flux vers Apache Airflow.
• Développer et refondre certains traitements en Python.
• Mettre en place une gestion robuste des logs, erreurs et retries.
• Participer au MCO et à la résolution des incidents.
• Contribuer à l'automatisation et à l'industrialisation des pipelines.
• Collaborer avec les équipes techniques et métier dans un fonctionnement Agile.

Outils & Environnement

• Apache Airflow
• PostgreSQL
• Python
• SQL

Conditions de travail

• Lieu de la mission : Lyon
• 2 jours de télétravail par semaine
• Date de démarrage : ASAP
• Mission de longue durée : 36 mois
• Anglais professionnel obligatoire
• Séniorité requise : minimum 8 ans d'expérience en Data Engineering dans le secteur de l'énergie