Tech Lead Data Senior Spark Scala Databricks Power Bi H/F Vaganet

Le besoin

Contexte

Pour le compte d'un grand groupe, nous recherchons un Tech Lead Data Senior afin de participer à la construction d'une plateforme décisionnelle alimentée par les données d'une GMAO d'entreprise basée sur IBM Maximo.

Intégré à une équipe Data pluridisciplinaire, vous interviendrez sur l'ensemble de la chaîne de traitement, de l'analyse des besoins métiers jusqu'à la mise à disposition des données pour les usages analytiques et Power BI.

Le projet est mené en environnement Agile Scrum/Kanban.

Vos missions

• Analyser les besoins métiers et les indicateurs de pilotage.

• Participer aux ateliers de conception fonctionnelle et technique.

• Étudier la qualité et la cohérence des données issues de la GMAO.

• Concevoir les modèles de données décisionnels.

• Développer les pipelines d'ingestion et de transformation sous Databricks.

• Développer les traitements Spark en langage Scala.

• Intégrer les flux de données en temps réel via AWS MSK.

• Mettre en oeuvre une architecture Médaillon avec les couches Bronze, Silver et Gold.

• Réaliser la modélisation en étoile avec les tables de faits et les dimensions.

• Concevoir et alimenter les tables destinées aux usages analytiques.

• Préparer et optimiser les jeux de données consommés par Power BI.

• Mettre en place les contrôles de qualité, de cohérence et de traçabilité des données.

• Optimiser les performances et les coûts des traitements.

• Réaliser les tests unitaires et les tests d'intégration.

• Participer à la recette et à la correction des anomalies.

• Assurer la documentation technique et le transfert de connaissances.

• Participer aux cérémonies Agile et contribuer à l'amélioration continue.

Compétences indispensables

• Minimum 5 ans d'expérience en ingénierie des données.

• Expertise confirmée en développement Spark avec Scala.

• Expérience significative sur Databricks.

• Minimum 5 ans d'expérience en modélisation décisionnelle en étoile.

• Expérience concrète dans la mise en oeuvre d'une architecture Médaillon.

• Très bonne maîtrise de SQL avancé.

• Expérience sur au moins trois projets Data significatifs.

• Maîtrise des formats Parquet, Delta Lake et JSON.

• Expérience dans la préparation de données pour des outils de Dataviz.

• Capacité à optimiser les performances et les coûts des traitements Data.

Compétences appréciées

• Expérience sur AWS ou des flux de données en temps réel.

• Connaissance de Power BI.

• Expérience sur des données issues d'IBM Maximo ou d'une autre solution de GMAO.