Les missions du poste

Contexte du poste

Dans le cadre de projets data à fort volume et à forte criticité, agap2IT recherche un Data Engineer spécialisé Airflow pour intervenir chez des clients grands comptes, au sein d'environnements data industrialisés et internationaux.

Missions principales

Concevoir, développer et maintenir des pipelines de données avec Apache Airflow

Orchestrer des flux batch et event-driven à grande échelle

Garantir la qualité, la fiabilité et la performance des traitements data

Intégrer des données provenant de sources multiples (SI internes, APIs, fichiers)

Mettre en oeuvre les bonnes pratiques de monitoring, logging et reprise sur incident

Optimiser les temps de traitement et la gestion des dépendances

Collaborer avec les équipes Data, Dev, Ops et Métiers

Documenter les pipelines et participer à l'amélioration continue de la plateforme data

Environnement technique

Orchestration : Apache Airflow (Docker / Kubernetes)

Langages : Python, SQL

Data : Data Lake, Data Warehouse

Cloud : AWS (S3, Glue, EMR, Redshift, Lambda - selon contexte)

Traitements : Spark / PySpark

CI/CD : GitLab CI / Jenkins

Systèmes : Linux

Monitoring : Airflow UI, Prometheus, Grafana

Profil recherché

Formation Bac +5 (école d'ingénieur, université ou équivalent)

Minimum 5 ans d'expérience en Data Engineering

Expertise confirmée sur Apache Airflow

Très bonne maîtrise de Python et du SQL

Expérience sur des environnements Cloud et data à grande échelle

Sensibilité aux enjeux de qualité, performance et industrialisation

Autonomie, rigueur et esprit d'équipe

Anglais professionnel requis

Pour agap2, tous les talents comptent. Si vous êtes en situation de handicap, n'hésitez pas à nous poser vos questions et à postuler.