Lead Data Orchestration Engineer H/F LeHibou

  • Sochaux - 25
  • Indépendant
  • Services aux Entreprises
  • Exp. 5 ans min.
Lire dans l'app

À noter sur ce job

Vous avez ces compétences ? Cliquez dessus pour les ajouter rapidement à votre profil !

Détail du poste

Le besoin

Contexte de la mission

Dans le cadre du renforcement de son équipe Data Platform, notre client recherche un Lead Data Orchestration Engineer, expert Apache Airflow et AWS MWAA.

La plateforme actuelle orchestre des pipelines de données bancaires dans 9 pays européens. Après une première phase de stabilisation, l'objectif est désormais d'optimiser son architecture, de renforcer sa résilience et d'étudier une éventuelle migration vers une infrastructure plus adaptée.

Missions et responsabilités

1. Optimisation de l'architecture Airflow

  • Faire évoluer et optimiser la DAG Factory existante.

  • Migrer les dépendances inter-DAGs vers les mécanismes natifs Airflow (Datasets).

  • Améliorer les performances et la scalabilité de la plateforme.

  • Automatiser la validation des DAGs dans les pipelines CI/CD.

2. Sécurisation et résilience

  • Renforcer l'observabilité : monitoring, dashboards, alerting.

  • Implémenter une politique de rotation des secrets.

  • Optimiser le capacity planning, le scaling et la gestion des ressources.

  • Améliorer l'isolation réseau et les mécanismes de reprise automatique.

  • Formaliser les procédures de gestion des incidents (runbooks).

3. Étude et migration d'infrastructure

  • Réaliser un benchmark des alternatives à AWS MWAA (ECS/EKS, Astronomer, Dagster, Prefect).

  • Évaluer les coûts, les performances et les risques associés.

  • Définir une architecture cible et un plan de migration.

  • Piloter les POC et la migration progressive si une nouvelle solution est retenue.

  • Garantir la continuité de service pendant la transition.

4. Accompagnement et montée en compétences

  • Former et accompagner les équipes Dev et Ops (environ 10 personnes).

  • Définir et faire appliquer les standards techniques.

  • Structurer une organisation Data Platform favorisant l'autonomie des équipes.

  • Assurer le transfert de connaissances et le mentorat.

Compétences techniques indispensables

  • Apache Airflow : expertise avancée (scheduler, executor, pools, triggers, deferrable operators, Datasets).

  • AWS : MWAA, SQS, SNS, Secrets Manager, CloudWatch, IAM.

  • Python avancé : développement de plugins, operators et sensors personnalisés.

  • Optimisation Airflow : expérience sur des plateformes de grande envergure (200+ DAGs en production).

  • DAG Factory : conception et optimisation de génération dynamique de DAGs.

  • Résilience et observabilité : monitoring, alerting, retry strategies, Dead Letter Queues, circuit breakers.

  • Architecture Cloud : capacité à évaluer et concevoir des solutions d'orchestration évolutives.

Compétences appréciées

  • Expérience d'une migration d'orchestrateur ou d'infrastructure Airflow.

  • Connaissance d'Airflow sur ECS/EKS, Astronomer, Dagster ou Prefect.

  • Maîtrise de Terraform (Infrastructure as Code).

  • Expérience en environnement bancaire, international ou multi-pays.

Compétences / Qualités indispensables :

Apache Airflow, AWS MWAA ou Google Cloud Composer, Data Orchestration, Lead Data Engineer, Python, DAG Factory, AWS, ECS, EKS, Astronomer, Dagster, Prefect, DataOps, Terraform, CI/CD, CloudWatch

Le profil recherché

Profil recherché

  • Minimum 5 ans d'expérience sur Apache Airflow, avec une expérience significative sur AWS MWAA ou Google Cloud Composer.

  • Expérience confirmée en architecture, optimisation et exploitation de plateformes d'orchestration Data.

  • Capacité à piloter des transformations techniques et à définir des orientations architecturales.

  • Leadership technique, autonomie et force de proposition.

  • Excellentes capacités de communication, de mentorat et de coordination des équipes Dev/Ops.

Infos complémentaires

Taux journalier :650€ / jour.css-11k7fwb{display:inline-block;white-space:nowrap;vertical-align:middle;-webkit-padding-start:var(--chakra-space-1-5);padding-inline-start:var(--chakra-space-1-5);-webkit-padding-end:var(--chakra-space-1-5);padding-inline-end:var(--chakra-space-1-5);text-transform:none;font-size:var(--chakra-fontSizes-xs);border-radius:var(--chakra-radii-md);font-weight:var(--chakra-fontWeights-semibold);background:var(--chakra-colors-success-200);color:var(--chakra-colors-success-700);box-shadow:var(--badge-shadow);padding:4px 6px;--badge-bg:var(--chakra-colors-success-100);--badge-color:colors.success.800;}.chakra-ui-dark .css-11k7fwb:not([data-theme]),[data-theme=dark] .css-11k7fwb:not([data-theme]),.css-11k7fwb[data-theme=dark]{--badge-bg:rgba(226, 243, 232, 0.16);--badge-color:var(--chakra-colors-success-200);}Cette offre est à 0% de commission .css-74lrwu{width:1em;height:1em;line-height:1em;-webkit-flex-shrink:0;-ms-flex-negative:0;flex-shrink:0;color:currentColor;font-size:16px;display:-webkit-box;display:-webkit-flex;display:-ms-flexbox;display:flex;-webkit-transition:.1s ease-in-out color;transition:.1s ease-in-out color;}.css-74lrwu *{-webkit-transition:.1s ease-in-out fill;transition:.1s ease-in-out fill;fill:var(--chakra-colors-rythm-600);}

Publiée le 22/10/2026 - Réf : aea040b7e8bd743a6a74ef28bde7bb56

Postuler
Créez votre compte
Hellowork et postulez

sur le site du partenaire !

Voir plus d'offres
Les sites
L'emploi
  • Offres d'emploi par métier
  • Offres d'emploi par ville
  • Offres d'emploi par entreprise
  • Offres d'emploi par mots clés
L'entreprise
  • Qui sommes-nous ?
  • On recrute
  • Accès client
Les apps
Nous suivre sur :
Informations légales CGU Politique de confidentialité Gérer les traceurs Accessibilité : non conforme Aide et contact