Data Engineer H/F Gnomon Digital

Contexte client

Dans le cadre du renforcement de sa plateforme Data, notre client, acteur majeur de son secteur, poursuit la modernisation de son écosystème décisionnel et l'industrialisation de ses traitements de données sur Microsoft Azure.

Vous rejoindrez une équipe Data composée de Data Engineers, Data Analysts, Data Architects et Product Owners, au sein d'un environnement Agile. Votre mission consistera à concevoir, développer et optimiser les pipelines de données afin de garantir la disponibilité, la qualité et la valorisation des données au service des métiers.

Vous interviendrez sur des projets stratégiques autour des architectures Data Lake, Lakehouse et des traitements distribués avec Azure Databricks et Apache Spark.

Descriptif de la mission

En tant que Data Engineer, vous aurez pour principales responsabilités de :

- Concevoir, développer et maintenir des pipelines de données (ETL/ELT).
- Développer des traitements distribués en PySpark sur Azure Databricks.
- Concevoir et optimiser les modèles de données adaptés aux besoins métiers.
- Collecter, intégrer et transformer des données provenant de sources variées (API, fichiers, bases de données, flux batch et streaming).
- Garantir la qualité, la cohérence et la traçabilité des données.
- Optimiser les performances des traitements Spark et SQL.
- Participer à l'industrialisation des développements via les bonnes pratiques DevOps et CI/CD.
- Collaborer avec les équipes Data, BI, Architecture et Métiers afin de répondre aux besoins analytiques.
- Assurer la documentation technique des développements et des modèles de données.
- Contribuer à l'amélioration continue de la plateforme Data et des bonnes pratiques de développement.

Issu(e) d'une formation supérieure en informatique (Bac +5 ou équivalent), vous justifiez d'une expérience significative en Data Engineering dans un environnement Cloud.

Compétences techniques

- Maîtrise de Python et PySpark.
- Solide expérience sur Azure Databricks.
- Excellente maîtrise de SQL.
- Bonne connaissance d'Apache Spark.
- Expérience dans la conception et le développement de pipelines de données.
- Connaissance des architectures Data Lake et Lakehouse.
- Expérience avec Microsoft Azure.
- Maîtrise de Git et des bonnes pratiques de développement.
- Connaissance des principes de modélisation de données (Star Schema, Data Warehouse).

Compétences appréciées

- Azure Data Factory.
- Delta Lake.
- Power BI.
- DataGalaxy.
- Docker ou Terraform.
- Azure Synapse Analytics.
- Microsoft Fabric.

AI Implementation Specialists

Gnomon Digital est une ESN spécialisée dans l'implémentation de solutions d'Intelligence Artificielle au service de la transformation digitale de ses clients. Nous accompagnons les entreprises dans l'adoption et le déploiement de l'IA, du conseil stratégique à la mise en production.

Notre ADN : une expertise technique pointue, un esprit d'innovation permanent et une culture humaine forte. Nous croyons que la technologie doit être au service des personnes, et chaque projet est une opportunité de créer un impact réel.