Les missions du poste

Dans le cadre d'un projet stratégique de modernisation de plateforme BI, nous recherchons un Data Engineer Sénior pour accompagner une équipe BI dans la mise en oeuvre d'une nouvelle architecture Data sur un environnement moderne (Lakehouse sur S3, Spark, Superset...).

L'objectif est de concevoir et déployer des solutions performantes et évolutives tout en répondant aux besoins couverts par les systèmes existants (Informatica, OBIEE...). Vous interviendrez en étroite collaboration avec une équipe technique déjà en place (2 personnes) ainsi qu'avec les utilisateurs finaux.

Enjeux techniques du projet

Définition de l'architecture Lakehouse sur S3

Remplacement des pipelines existants sous Informatica par des pipelines Spark / PySpark / Python

Migration de l'ordonnancement (DAC OBIEE Dagster)

Création de dashboards sur Apache Superset à partir des données du Lakehouse

Vos missions principales

Analyse des systèmes existants et des besoins couverts

Conception et développement de pipelines de collecte et traitement de données

Mise en place d'un système de stockage et restitution de la donnée

Réalisation des tests unitaires

Mise en oeuvre d'un suivi des traitements

Accompagnement à la recette utilisateur / MOA

Rédaction de documentation technique

Participation à l'amélioration continue des processus de développement

Environnement technique

Langages : Python, Spark, PySpark, SQL

Outils : Git, Jenkins, JIRA, Confluence

OS : Windows 10 avec WSL

Plateforme actuelle : Informatica, DAC, OBIEE, Eclipse BIRT, Oracle 19

Plateforme cible : Dagster, Superset, Trino, S3

Livrables attendus

Solutions techniques conformes aux besoins identifiés

Pipelines de traitement testés et validés

Documentation technique à jour

Respect du planning et des charges estimées

Suivi de l'avancement projet

Compétences clés recherchées

Expertise avérée en Python, Spark, PySpark
Expérience en environnement Data & BI
Bon relationnel pour interagir avec les équipes métiers
Capacité à gérer les priorités dans un cadre projet structuré
La connaissance des outils Informatica et OBIEE est un plus