Développeur Big Data Data Engineer Confirmé H/F Kaizen Solutions
- Lyon 3e - 69
- CDI
- Télétravail partiel
- Bac +5
- Secteur informatique • ESN
- Exp. 5 à 10 ans
À noter sur ce job
Vous avez ces compétences ? Cliquez dessus pour les ajouter rapidement à votre profil !
Les missions du poste
Contexte du poste
Au sein d'une Direction des Systèmes d'Information, le pôle concerné assure la conception, le développement, le maintien en condition opérationnelle et l'évolution de systèmes d'information traitant des données massives issues d'équipements connectés et de réseaux. L'équipe mène des études et développe des produits data innovants (maintenance prédictive, mobilité électrique, analyse de charges réseau), en lien étroit avec les métiers, pour optimiser l'exploitation des actifs et favoriser de nouveaux usages.
Stack technique : Python, pySpark, Hadoop/HDFS (migration vers Databricks/Delta Lake en cours), Airflow, PostgreSQL, GitLab/GitLab-CI/CD, Jira/Confluence, PowerBI.
Vos missions
Développement de pipelines de données
- Conception, développement et optimisation de pipelines pySpark traitant de gros volumes de données (plusieurs dizaines de millions de lignes)
- Mise à disposition de données dans le datalake d'entreprise
- Maintenance évolutive et corrective des chaînes de traitement en production
Supervision et qualité des données
- Mise en place d'outils de supervision technique et de qualité des données avec l'équipe DevOps
- Contribution au run des traitements en production (monitoring, alerting, contrôle qualité)
Architecture et conseil
- Propositions de conception et d'architecture (traitements, modèles de données), avec l'appui du Tech Lead
- Accompagnement des data scientists de l'équipe dans l'industrialisation de leurs codes d'étude et d'expérimentation
- Rôle de conseil en data engineering auprès de l'équipe et d'autres projets
Migration Cloud
- Contribution à la préparation et à la réalisation de la migration vers Databricks
Veille et partage de connaissances
- Veille technologique sur les outils et pratiques de data engineering (Spark, Databricks, Cloud)
- Partage de connaissances et formation aux bonnes pratiques (qualité de code, tests, performance Spark)
Le profil recherché
Profil recherché
- Au moins 5 ans d'expérience en data engineering, dont une expérience significative en pySpark (conception et mise en production de pipelines traitant des volumes massifs)
- Expérience significative de traitements Spark en production sur Databricks et/ou sur un cluster Hadoop (Databricks privilégié)
- Expérience de run et de mise en production, d'optimisation, de maintenance et de supervision de pipelines Spark en production
- Expérience avec un outil d'ordonnancement en environnement cloud (Airflow)
- Maîtrise de l'industrialisation : tests, revue de code, packaging, CI/CD (Git, GitLab-CI)
- Bonnes connaissances SQL, notamment PostgreSQL
- Capacité à proposer et documenter des architectures de traitements et de jeux de données
- Autonome, rigoureux, proactif, bon sens de l'organisation
- Bonne capacité de communication et de pédagogie, y compris auprès de profils data science ou métier
Un plus : expérience sur des données d'adresse ou des données spatiales (Sedona, geopandas)
Infos complémentaires
Participation et intéressement / Politique salariale annuelle / PEE et PERECOL / CSE avec cagnotte individuelle (200€/an) + activités de groupe / Télétravail flexible selon accord manager / Téléphone professionnel / Tickets restaurant 8,50€ / Mutuelle Malakoff Médéric Eco Activ 9 / Forfait mobilité durable jusqu'à 600€/an.
Les étapes de recrutement
Les étapes de recrutement peuvent varier selon l'offre à laquelle vous postulez.
-
Entretien RH, de préférence dans nos locaux, pour parler valeurs, projets et attentes
-
Qualification technique avec un collaborateur Kaizen, pour se challenger mutuellement
-
Entretien avec votre futur manager ou commercial, pour cibler le meilleur projet pour vous
-
Publiée le 12/11/2026 - Réf : 4459898/30862627 DBDDEC/69L
