Data Engineer - Aws - Databricks H/F

Visian

Le besoin

Contexte

Dans le cadre du programme de transformation, une grande entreprise du secteur de l'énergie met en oeuvre une plateforme Data moderne basée sur des technologies cloud (AWS) et orientée Data Platform industrielle et scalable. La plateforme vise à :

• Centraliser et industrialiser les flux de données (data ingestion, transformation, exposition)

• Accélérer les usages métiers (reporting, analytics...)

• Garantir la gouvernance et la qualité des données à l'échelle du groupe

La mission s'inscrit au sein de l'équipe Data Platform, avec un fort enjeu de :

• Mise à l'échelle des pipelines

• Industrialisation des pratiques Data Engineering

• Intégration des usages IA

Missions

• Développer un outil dans Databricks permettant de filtrer les clients selon des critères définis par le client

• Livrer une interface permettant d'activer ou désactiver les filtres et produire des rapports sur les clients sélectionnés ce jour

• Développer un ETL en utilisant les services AWS les plus adaptés, notamment :

  • AWS Step Functions pour l'orchestration / moteur de workflow

  • AWS Lambda pour des traitements légers

  • AWS Aurora ou RDS comme base de données relationnelle transactionnelle

  • Eventuellement Databricks pour des charges de traitements / transformations lourdes

• Récupérer les données entrantes via des API ou des fichiers plats

• Envoyer les données sélectionnées et transformées dans une vingtaine d'API

Outils & Environnement

• Cloud : services AWS

• Data Platform : Databricks (Lakehouse)

• Streaming : Kafka

• Data Governance : Unity Catalog, Collibra

• CI/CD : GitHub

• Visualisation : Power BI

• APIs