Senior Data Engineer - Databricks - Pyspark H/F

Astier Francis

Le poste

Vous intervenez sur la conception, le développement et l'industrialisation de pipelines de données au sein d'un environnement Databricks / Spark.

Votre rôle : garantir un traitement de données performant, fiable et scalable, du développement jusqu'à la mise en production.

Vos missions

Conception & Architecture

- Participer à la conception des pipelines de données batch et streaming
- Rédiger les spécifications techniques
- Modéliser les flux et transformations de données
- Définir les standards et bonnes pratiques Data Engineering

Développement & Performance

- Développer des pipelines de données en PySpark
- Réaliser les inférences de modèles via Spark MLFlow
- Manipuler et transformer des volumes de données importants
- Optimiser les performances (Spark tuning, partitionnement, volumétrie)

Qualité & Tests

- Développer les tests unitaires
- Mettre en place les tests d'intégration et validations end-to-end

Déploiement & Exploitation

- Déployer les pipelines sur les environnements Databricks (dev, uat, prod)
- Gérer les releases et la promotion de code
- Assurer le monitoring et le suivi des exécutions
- Analyser et corriger les incidents

CI/CD & Industrialisation

- Contribuer à l'évolution des pipelines CI/CD
- Automatiser les processus de build, test et déploiement
- Participer à la mise en oeuvre des bonnes pratiques DevOps

Collaboration & Gouvernance

- Réaliser des code reviews
- Accompagner techniquement les membres de l'équipe
- Participer aux rituels Agile
- Collaborer avec les équipes métier et techniques

Profil recherché

- Expérience confirmée en Data Engineering
- Maîtrise de Databricks, PySpark et Spark
- Bonne connaissance des architectures data batch et streaming
- Expérience sur les sujets CI/CD et industrialisation
- Bonne culture DevOps et qualité logicielle
- Capacité à intervenir sur des problématiques de performance et volumétrie
- Expérience sur des environnements cloud/data modernes appréciée

Environnement technique

- Databricks
- PySpark / Spark
- MLFlow
- CI/CD
- Pipelines batch & streaming
- Méthodologies Agile

Informations

- Localisation : Grenoble
- Type de contrat : CDI
- Démarrage : ASAP
- Rémunération : selon profil

Dans le cadre du développement d'une plateforme de maintenance prédictive, nous recherchons un Senior Data Engineer pour intervenir sur des enjeux forts de scalabilité, fiabilité et industrialisation de la donnée.

La plateforme exploite les données issues de capteurs afin d'anticiper les pannes critiques d'équipements utilisés dans des environnements sensibles.