Data Engineer Senior - Iceberg H/F Cherrypick
- Paris - 75
- Indépendant
- Bac +2
- Bac +3, Bac +4
- Bac +5
- Services aux Entreprises
- Exp. 8 ans min.
À noter sur ce job
Vous avez ces compétences ? Cliquez dessus pour les ajouter rapidement à votre profil !
Détail du poste
Le besoin
Contexte
Dans le cadre du renforcement de son pôle Data Services, un grand acteur du secteur ferroviaire recherche un Data Engineer Senior pour accompagner la conception, l'industrialisation et l'évolution de ses solutions Data.
Le consultant interviendra sur des sujets à forts enjeux autour de la Data Engineering, des architectures Lakehouse, de la modélisation et de l'optimisation des pipelines, avec une forte dimension industrialisation et Cloud.
Missions
Concevoir, développer et optimiser des pipelines Data à grande échelle.
Mettre en place des flux batch, streaming et ingestion via API.
Structurer les données selon le modèle Médaillon : Bronze / Silver / Gold.
Développer et industrialiser les pipelines avec DBT, Spark et Iceberg.
Participer à la conception et à l'évolution de l'architecture Lakehouse.
Déployer et maintenir les pipelines dans un environnement AWS.
Orchestrer les workflows ETL/ELT avec Airflow.
Mettre en oeuvre l'Infrastructure as Code avec Terraform.
Exécuter et maintenir les traitements dans des environnements Docker / Kubernetes.
Garantir la disponibilité, la supervision et l'observabilité des traitements.
Participer à la gestion des incidents et à l'amélioration continue.
Définir et automatiser les règles de Data Quality : tests, contrôles et validations.
Documenter les architectures, pipelines et règles métier.
Veiller à la conformité des flux, notamment sur les aspects RGPD.
Le profil recherché
Profil recherché
- Data Engineer Senior avec 8 ans minimum d'expérience dans les environnements Big Data / Cloud / Lakehouse
- Expérience concrète de la conception et de l'industrialisation de pipelines Data complexes
- Capacité à intervenir sur les sujets techniques et les choix d'architecture
- Maîtrise indispensable de DBT, Apache Iceberg, AWS, Python, Apache Spark et Modélisation Data / Médaillon (Bronze, Silver, Gold)
- Compétences importantes en Terraform / Infrastructure as Code, Airflow, Docker, Kubernetes, Datadog / Observabilité, Trino / Starburst, Streaming / ingestion API, Data Quality / tests automatisés, Architecture Lakehouse et Big Data
- Forte capacité d'analyse et de résolution de problèmes
- Bonne compréhension des enjeux métiers
- Autonomie et capacité à intervenir sur des sujets complexes
- Rigueur dans la conception et l'industrialisation
- Culture DevOps / DataOps
- Sensibilité forte à la qualité, la fiabilité et l'observabilité des données
- Capacité à documenter et à communiquer avec les équipes techniques et métiers
- Profil très orienté AWS + Spark + DBT + Iceberg avec une vraie expérience Lakehouse
- Expérience concrète et discriminante sur Iceberg + DBT + Spark dans un environnement AWS
Infos complémentaires
Publiée le 28/09/2026 - Réf : 5f9da4a82412212638c075f57ac7a2bf