Senior Data Engineer Pyspark Databricks Aws Airflow H/F
collectivite
- Lille - 59
- Indépendant
- Bac +2
- Bac +3, Bac +4
- Bac +5
- Services aux Entreprises
- Exp. 4 ans min.
Les compétences pour ce job
- Anglais
- AWS
- Python
Détail du poste
Information importante
Type de contrat: Freelance
Taux journalier : 530
Localisation : Lille, France
Date de démarrage :
Urgent
Mode de travail : Hybride
Publié le : 15 juin 2026
Le besoin
Contexte
Au sein d'une équipe Customer Intelligence d'un acteur majeur de la distribution sportive, le Data Engineer contribue à la construction des fondations de données alimentant des algorithmes de personnalisation client. L'équipe opère dans un contexte international (bureaux à Lille, Paris et Amsterdam) et s'appuie sur une stack technique moderne : PySpark, Airflow, AWS, Databricks, Datadog. Les outils de collaboration utilisés sont Google Suite, Confluence, Jira, Github et Slack.
Missions principales
- Concevoir, développer et maintenir des pipelines ETL/ELT haute performance avec PySpark et Airflow, traitant de larges volumes de données clients.
- Mettre en place des procédures de contrôle qualité, monitoring et validation des données, notamment via Great Expectations.
- Assurer la gouvernance et la conformité des données (GDPR).
- Collaborer avec les Data Scientists et Product Managers pour affiner le modèle de données client, en garantissant sa scalabilité.
- Gérer et optimiser l'infrastructure cloud AWS (EMR, S3) et Databricks pour la performance et la maîtrise des coûts.
- Gérer les transactions ACID avec des fichiers Delta.
- Assurer un rôle de référent technique au sein de l'équipe et promouvoir les bonnes pratiques.
Conditions de travail
- Localisation : Lille (hybride)
- Démarrage : 29 juin 2026
- Durée : longue mission
Profil recherché
- Minimum 4 ans d'expérience en Data Engineering
- Python : Expert
- PySpark : Expert
- AWS S3 : Expert
- Apache Airflow : Confirmé
- Databricks : Confirmé
- Delta Lake : Confirmé
- Great Expectations : Avancé
- Datadog : Avancé
- Anglais courant (utilisation quotidienne à l'écrit et à l'oral)
Infos complémentaires
Publiée le 15/06/2026 - Réf : 11a0cf1411d0d8ac569c6b6819bf44a3