Data Engineer Senior - Databricks - Aws H/F Yeets

Le besoin

Localisation : La Garenne-Colombes - télétravail hybride
Démarrage : fin novembre 2026
Expérience : 5 ans minimum
Type de contrat : freelance

Contexte

Dans le cadre du renforcement de ses équipes, un grand groupe du secteur de l'énergie recherche un(e) Data Engineer Senior au sein de sa Direction Data & IT, pour son activité dédiée aux particuliers.

Le poste s'inscrit dans une équipe Agile de 14 personnes, dont 7 Data Engineers, en charge du traitement des données de consommation des clients et de leur mise à disposition sur les canaux digitaux. L'équipe fait partie d'un Train SAFe synchronisé avec d'autres Trains et équipes Data.

Missions

• Concevoir, développer et maintenir des pipelines de données (ETL) pour les flux d'intégration et les flux métiers

• Concevoir et faire évoluer les architectures de données selon l'approche Medallion (Bronze, Silver, Gold) sur Databricks

• Modéliser les données dans des tables Delta Lake en appliquant les bonnes pratiques de partitionnement, d'indexation, d'optimisation et de gouvernance

• Optimiser les performances des traitements Spark et Delta Lake, en termes de temps d'exécution et de coûts

• Concevoir, développer et maintenir des APIs d'exposition et de consommation des données

• Mettre en place des dispositifs de contrôle qualité des données, de monitoring et d'alerting

• Assurer le développement, les tests et le déploiement des composants via des chaînes CI/CD

• Analyser et résoudre les incidents de production et assurer le suivi des actions correctives

• Rédiger et maintenir la documentation technique

• Participer aux cérémonies SAFe (PI Planning, refinements, macro-chiffrage, rétrospectives)

• Contribuer aux choix techniques et à l'amélioration continue de la plateforme

• Accompagner l'équipe dans l'adoption des bonnes pratiques de Data Engineering

Environnement technique

• Langages : Python, SQL

• Traitement de données : Spark, PySpark, DBUtils

• Plateforme : Databricks, Unity Catalog, Delta Lake

• Orchestration : Airflow (migration en cours vers Databricks Workflows)

• APIs et tests : FastAPI, Pytest

• Cloud : AWS (Lambda, S3, ECS, Secrets Manager)

• Outillage : Git, CI/CD

Profil recherché

• Expérience d'au moins 5 ans en Data Engineering

• Expérience confirmée en conception et développement de pipelines de données

• Maîtrise de Python, SQL et des bibliothèques associées (PySpark, DBUtils, Boto3)

• Maîtrise de la configuration des ressources Databricks sur AWS

• Solides connaissances en modélisation, performance et qualité des données

• Connaissance des principes d'API REST et des architectures orientées services

• Expérience significative sur l'environnement AWS

• Capacité d'analyse et de résolution d'anomalies en production

• Expérience en tant que Tech Lead

• Pratique du Data Engineering assisté par l'IA

Atouts appréciés

• Expérience en traitement de données en temps réel (streaming)

• Capacité à comprendre les enjeux métiers et à les traduire en solutions techniques