Data Engineer Spark S3 H/F Cherrypick
- Boulogne-Billancourt - 92
- Indépendant
- Bac +2
- Bac +3, Bac +4
- Bac +5
- Services aux Entreprises
À noter sur ce job
Vous avez ces compétences ? Cliquez dessus pour les ajouter rapidement à votre profil !
Détail du poste
Le besoin
La mission :
Concevoir, développer et maintenir des pipelines de traitement de données avec Apache Spark.
Modéliser et faire évoluer les tables Apache Iceberg sur Amazon S3, en veillant à la performance, à l'évolutivité et à la gouvernance des données.
Mettre en place des contrôles de qualité : complétude, unicité, fraîcheur, cohérence et traçabilité des données du catalogue.
Construire un système résilient : traitements idempotents, reprise sur erreur, retries maîtrisés, gestion des données en retard, rejouabilité et backfill.
Déployer un monitoring opérationnel avec métriques, logs structurés, dashboards et alertes utiles sur les erreurs, les volumes, la fraîcheur et les temps de traitement.
Participer aux phases de développement et de tests : unitaires, intégration, qualité des données, performance et montée en charge.
Documenter les pipelines, les modèles de données, les procédures d'exploitation et les décisions techniques.
Le profil recherché
Profil recherché
De formation supérieure en informatique, en data ou en ingénierie, avec une première expérience en Data Engineering.
Bonne maîtrise de Spark et de SQL ; une expérience en Python ou Scala est appréciée.
Connaissance des architectures data sur AWS, du stockage objet S3 et des formats ou tables analytiques comme Iceberg.
Sensibilité forte à la qualité des données, à la résilience, à l'observabilité et à l'amélioration continue.
Esprit d'équipe, autonomie, curiosité et envie de contribuer à des produits utilisés par les abonnés
Infos complémentaires
Publiée le 23/09/2026 - Réf : 222b4239cb77e01ebce2de9822c036c8