Data Engineer H/F

Mane Conseil

Migration Datawarehouse - Nous recherchons un(e) Data Engineer expérimenté(e)

Dans le cadre de la refonte du framework Data Warehouse de notre client, nous recherchons un(e) Data Engineer disposant d'une solide expérience sur Apache Airflow afin de concevoir from scratch le nouveau workflow d'orchestration et de migrer progressivement l'existant vers cette nouvelle stack technique.

Un PoC Airflow est déjà en place : nous recherchons donc un profil capable de challenger les choix techniques, proposer des améliorations et nous guider dans la définition de l'architecture cible.

Missions principales

- Concevoir from scratch le nouveau workflow d'orchestration de données basé sur Apache Airflow (architecture des DAGs, gestion des dépendances, scheduling, monitoring).

- Évaluer et challenger le PoC Airflow existant : analyser les choix réalisés, proposer des alternatives et orienter les décisions d'architecture.

- Migrer les pipelines de données existants depuis l'ancien workflow vers la nouvelle plateforme.

- Écrire et maintenir des tests unitaires, d'intégration et de non-régression pour garantir la qualité et la fiabilité des pipelines migrés.

- Optimiser les pipelines existants (performance, robustesse, coûts, lisibilité du code) lors de leur migration.

- Rédiger et optimiser des requêtes SQL pour l'extraction, la transformation et le chargement des données (une expérience sur Oracle serait un plus).

- Contribuer à la mise en oeuvre de bonnes pratiques d'industrialisation (versioning, revue de code, CI/CD, documentation).

- Accompagner et conseiller l'équipe sur les bonnes pratiques Airflow et Data Engineering (partage de connaissances, mentoring technique).

Compétences additionnelles appréciées

- Connaissance des concepts de Real-Time / Near Real-Time Data Warehousing et des différentes approches (streaming, micro-batch, CDC, etc.).

- Une expérience sur Amazon Redshift serait un plus.

Environnements techniques

- Orchestration : Apache Airflow
- Langage : Python (Pandas, NumPy)
- Bases de données : SQL, Oracle (souhaité)
- Data Warehouse : Redshift (apprécié)