Développeur Data - IA H/F
Exiptel
- Saint-Denis - 93
- Freelance
- Bac +2
- Bac +3, Bac +4
- Bac +5
- Services aux Entreprises
Détail du poste
Le besoin
Pour une mission longue pour un grand groupe, nous recherchons plusieurs développeur Data
Gestion JSON - traitement des json complexes avec multiples imbrications variables
Gestion de format Delta (similaire JSON) sous Databricks
Python / SQL / Databricks / Spark
- Développement et déploiement de Jobs Spark (PySpark et Scala) en CI/CD sur Azure Databricks
- Optimisation des chaines de traitements Big Data en termes de temps d'exécution et de couts des machines virtuelles (Cloud Azure)
- Migration de l'architecture des données vers une architecture médaillon (Bronze, Silver, Gold)
- Création de jobs de mise en qualité de la donnée (couche silver) : nettoyage, dédoublonnage, masquage de la donnée
- Migration code contenu dans JARs (Spark Scala) vers code en PySpark sur notebooks, compatible avec Unity Catalog
- Automatisation des déploiements et des livrables (Gitlab-Ci, Ansible, Jenkins)
- Migration de l'écosystème Databricks existant vers Unity Catalog
- Migration de parquet et orc à delta
- Passage progressivement à une lecture de table au lieu d'une lecture directe des fichiers du datalake
- Création d'une couche « silver » servant de couche de mise en qualité des données « bronze » avant
consommation dans des tables gold à valeur métier
- Orchestration de jobs Spark sur Databricks Workflows
- Modélisation et conception de nouvelles chaines de traitement, en collaboration avec les équipes métier (architecture
data)
- Refactoring global de l'application et augmentation de la couverture de test du code (de 30% à 90%)
- Revues de code et mise en place de contrôles techniques et automatisés de la qualité de la donnée (via Notebooks
Databricks)
Le profil recherché
Profil recherché
3 - 10 ans d'experience
Technologies : Azure Databricks, Spark (Scala et PySpark), Jenkins, Airflow, Ecosysteme Databricks (Databricks Workflows, DeltaLake), Azure (Azure Data Factory, AKV, Adls, BlobStorage), GitLab CI, SQL, Terraform
Infos complémentaires
Publiée le 24/07/2026 - Réf : e0712881b1edf758efd12e6b26933d7e
