Data Platform Engineer Senior - Databricks H/F Anonyme

Le besoin

ontexte de la mission

Au sein de la Direction Digital & IT d'un grand groupe international du secteur de l'énergie, spécialisé notamment dans les énergies renouvelables (éolien, solaire et hydraulique), l'équipe Digital Delivery recherche un Data Platform Engineer Senior spécialisé sur Databricks.

Dans un contexte de transformation et de modernisation de son écosystème Data, l'organisation souhaite renforcer la structuration, la sécurisation et l'industrialisation de sa plateforme de données Databricks.

La mission s'articule autour de plusieurs enjeux majeurs : garantir une exploitation fiable et performante de la plateforme, déployer un cadre de gouvernance des données via Unity Catalog, accompagner la migration du Data Lake historique et favoriser l'adoption des outils et des bonnes pratiques par les équipes techniques et métiers.

Le consultant interviendra à la fois sur des activités RUN (administration, sécurité, performance, optimisation des coûts) et BUILD (migration, automatisation, gouvernance et amélioration continue), dans un environnement international.

Environnement de travail

• Localisation : La Garenne-Colombes (92)

• Rythme : Temps plein

• Date de démarrage : 02/11/2026

• Durée : Mission longue, 3 ans

Détails de la mission

Missions principales

Objectifs :

• Administrer, sécuriser et optimiser la plateforme Databricks afin d'en garantir la disponibilité, la performance et la maîtrise des coûts.

• Déployer et faire appliquer le cadre de gouvernance des données à travers Unity Catalog.

• Piloter la migration progressive du Data Lake historique vers l'architecture cible Databricks, en garantissant la continuité de service.

• Industrialiser les processus de développement et de déploiement Data à travers une approche DataOps et CI/CD.

• Accompagner les équipes techniques et métiers dans l'adoption de la plateforme et des standards de gouvernance.

• Contribuer à l'amélioration continue de l'écosystème Data et à l'intégration de nouvelles fonctionnalités.

Finalités :

• Disposer d'une plateforme Data robuste, sécurisée, gouvernée et évolutive.

• Garantir la qualité, la traçabilité et l'accessibilité des données.

• Réussir la migration de l'environnement historique sans interruption des activités métiers.

• Standardiser et automatiser les pratiques de développement et d'exploitation.

• Renforcer l'autonomie des utilisateurs et favoriser l'adoption des solutions Data.

• Assurer un équilibre entre stabilité opérationnelle, maîtrise des coûts et innovation.

Attributions

Tâches & Activités principales :

• Administrer les environnements Databricks : workspaces, compute, permissions, accès, sécurité et gestion des incidents.

• Assurer le suivi opérationnel de la plateforme, analyser les performances et optimiser les ressources ainsi que les coûts d'exploitation.

• Configurer et déployer Unity Catalog : structuration des catalogues, organisation par domaines, gestion des droits et application des standards de gouvernance.

• Définir et faire appliquer les conventions de nommage, les règles de qualité et les bonnes pratiques de gestion des données.

• Analyser l'architecture et les flux du Data Lake historique afin de définir la stratégie et le design de migration vers Databricks.

• Organiser et coordonner les différentes vagues de migration, en sécurisant les dépendances, la qualité des données et leur traçabilité (data lineage).

• Développer et industrialiser les pipelines de données avec Python et Spark.

• Mettre en place et maintenir les processus CI/CD via Git et Databricks Asset Bundles pour automatiser les déploiements entre les environnements Dev, Test et Prod.

• Accompagner les Data Engineers et les utilisateurs métiers (Data Citizens) dans leur prise en main de la plateforme.

• Animer des sessions de formation, partager les bonnes pratiques et produire des supports d'accompagnement réutilisables.

• Contribuer à l'animation de la communauté IT interne et à la diffusion des standards techniques.

• Assurer une veille sur les évolutions de Databricks, notamment les fonctionnalités liées à l'intelligence artificielle et à la GenAI.

• Participer aux rituels Agile et collaborer avec les équipes techniques, les responsables Data et les parties prenantes métiers.

Livrables attendus :

• Documentation du modèle d'exploitation et d'administration de la plateforme Databricks.

• Documentation du cadre de gouvernance Unity Catalog : organisation des catalogues, règles d'accès, standards de nommage et de qualité.

• Architecture cible et plan de migration du Data Lake historique.

• Planning de migration, suivi des vagues et tableaux de bord d'avancement.

• Pipelines CI/CD et configurations Databricks Asset Bundles industrialisés.

• Guides d'utilisation, supports de formation, documentation d'onboarding et blueprints réutilisables.

• Rapports périodiques d'exploitation : performance, disponibilité, coûts, sécurité et conformité.