Data Engineer H/F Visian

Le besoin

Bonjour,

Dans le cadre de ses projets clients, Visian est à la recherche d'un Data Engineer pour intervenir sur la conception, l'industrialisation et l'évolution de solutions Data à grande échelle.

La mission comporte une forte dimension architecture et engineering, avec notamment des enjeux autour de la stratégie Lakehouse, de la modélisation des données, de l'optimisation des pipelines et de la fiabilisation des traitements.

Missions principales

• Concevoir, développer et optimiser des pipelines de données à grande échelle.

• Mettre en oeuvre des flux batch, streaming et ingestion via API.

• Structurer les transformations selon une architecture Médaillon : Bronze / Silver / Gold.

• Concevoir et industrialiser les traitements avec Spark, dbt et Apache Iceberg.

• Participer à la conception et à l'évolution de l'architecture Lakehouse.

• Déployer et maintenir les pipelines dans un environnement Cloud AWS.

• Utiliser les principaux services AWS Data : S3, Glue, EMR...

• Orchestrer les workflows ETL / ELT avec Airflow.

• Industrialiser les infrastructures via Terraform / Infrastructure as Code.

• Exécuter les traitements dans des environnements conteneurisés avec Docker et Kubernetes.

• Garantir la disponibilité, la supervision et l'observabilité des traitements.

• Participer à la gestion des incidents, à l'analyse des causes racines et à l'amélioration continue.

• Définir et mettre en oeuvre les règles de Data Quality : tests, contrôles automatisés et validation des données.

• Documenter les architectures, pipelines, modèles et règles métier.

• Veiller à la conformité et à la sécurisation des flux de données, notamment dans le cadre du RGPD.

• Accompagner les profils plus juniors et contribuer au partage des bonnes pratiques Data Engineering.