Data Engineer H/F Astek

Votre mission (... si vous l'acceptez !) :

- Concevoir et implémenter des pipelines de données scalables à partir de templates génériques dans un environnement Big Data.
- Contribuer à la construction d'une vision 360° des utilisateurs et à l'enrichissement de la connaissance client via des partenaires data.
- Transformer et moderniser des flux legacy vers une stack data lakehouse moderne (Databricks / Delta Lake / AWS).
- Garantir la qualité, la fiabilité et la performance des datasets (data quality, optimisation Spark / SQL).
- Documenter les flux et datasets et accompagner les utilisateurs dans la compréhension et l'usage des données.
- Participer à l'amélioration continue des pratiques de développement : clean code, tests, CI/CD, data monitoring.
- Contribuer à la communauté data via le partage de connaissances et les bonnes pratiques.

Votre quotidien sera rythmé par :

- Développer et maintenir des pipelines de données dans un environnement AWS / Databricks / Spark.
- Mettre en place et orchestrer des workflows de traitement de données avec Airflow.
- Optimiser les traitements PySpark et SQL afin d'améliorer les performances des flux.
- Appliquer et suivre les règles de qualité de données pour garantir la fiabilité des datasets.
- Documenter les flux et datasets pour faciliter leur compréhension et leur usage.
- Répondre aux questions des utilisateurs concernant les données mises à disposition.
- Participer aux échanges techniques de l'équipe et contribuer aux bonnes pratiques de développement (tests, CI/CD, clean code).

Environnement technique :

- AWS (S3, Lambda, Glue), Databricks
- Apache Spark (PySpark), SQL
- Data Lakehouse, Delta Lake
- Apache Airflow
- Collibra, Data Quality monitoring
- Clean Code, CI/CD, tests unitaires et d'intégration
- GitHub, Agile, Mob Programming
- outils d'IA pour accélérer le développement (AI assistants)

Les petits plus du projet :

- Un projet data stratégique autour de la connaissance client 360°.
- Une stack data moderne (AWS, Databricks, Spark, Delta Lake).
- Des volumes de données importants et des enjeux de performance et de qualité.
- Une équipe data collaborative et orientée bonnes pratiques (clean code, CI/CD, partage de connaissances).