Data Engineer - Migration Cloud - Pyspark - Dbt H/F

collectivite

Information importante

Type de contrat: Freelance

Taux journalier : 580

Localisation : Paris, France

Date de démarrage :

2 à 4 semaines

Mode de travail : Hybride

Publié le : 3 juillet 2026

Le besoin

Contexte

Projet de Migration Data Cloud (pyspark -> DBT)

Pôle Conception de Développement Data et IA : Collecter des données, les organiser, les traiter, les diffuser et les transformer en informations exploitables par tous les métiers de l'entreprise, être la force d'exécution de la stratégie Data.
Intelligence Artificielle : Permettre à un grand groupe d'assurance de développer des usages efficaces et responsables de l'Intelligence Artificielle au service des clients et des collaborateurs.

Le patrimoine de transformation repose aujourd'hui sur des jobs PySpark exécutés sur clusters Dataproc éphémères (logique satellite/pilote, écriture Parquet en tables externes BigLake). L'objectif est de basculer la couche transformation vers dbt sur BigQuery (pattern ELT : extraction/chargement inchangés, transformation en SQL/dbt), pour réduire le coût et la complexité d'exécution Spark, et industrialiser tests, lignage et documentation.

Missions

• Migrer la logique de transformation PySpark vers des modèles dbt fonctionnellement équivalents sur BigQuery

• Garantir l'iso-production (non-régression sur les données produites)

Outils & Environnement

• PySpark (Dataproc) : niveau avancé

• BigQuery : niveau expert

• dbt : niveau expert

Profil recherché

Critères indispensables

• ✔ Expertise dbt

• ✔ Expertise BigQuery

• ✔ Très forte maîtrise SQL

• ✔ Expérience de migration PySpark SQL/dbt

• ✔ Connaissance Dataproc

• ✔ Environnement Google Cloud Platform

• ✔ Mise en oeuvre de tests de non-régression

• ✔ Optimisation des coûts et des performances BigQuery