Data Engineer Big Data Senior H/F Visian
- Paris - 75
- Indépendant
- Bac +2
- Bac +3, Bac +4
- Bac +5
- Services aux Entreprises
- Exp. 8 ans min.
À noter sur ce job
Vous avez ces compétences ? Cliquez dessus pour les ajouter rapidement à votre profil !
Détail du poste
Le besoin
Bonjour,
Dans le cadre de ses projets clients, Visian est à la recherche d'un Data Engineer Big Data
Dans le cadre du renforcement d'une équipe Data, nous recherchons un(e) Data Engineer Senior pour intervenir sur la conception, l'industrialisation et l'évolution de solutions Data à grande échelle.
La mission s'inscrit dans un environnement Big Data / Cloud / Lakehouse, avec des enjeux forts autour de la performance, de la qualité des données, de l'industrialisation et de l'observabilité des traitements.
Missions
Concevoir, développer et optimiser des pipelines de données à grande échelle.
Mettre en oeuvre des flux Batch, Streaming et des ingestions via API.
Structurer les transformations selon une architecture Médaillon Bronze / Silver / Gold.
Développer et industrialiser les traitements avec Spark et dbt.
Exploiter des formats de tables modernes, notamment Apache Iceberg.
Participer à la conception et à l'évolution de l'architecture Lakehouse.
Déployer et maintenir les pipelines dans un environnement AWS.
Utiliser les services AWS dédiés à la Data, notamment S3, Glue et EMR.
Orchestrer les workflows ETL / ELT avec Airflow.
Mettre en oeuvre l'Infrastructure as Code avec Terraform.
Déployer et exécuter les traitements dans des environnements conteneurisés Docker / Kubernetes.
Assurer la disponibilité, la supervision et l'observabilité des pipelines.
Participer à la gestion des incidents et à l'amélioration continue de la plateforme.
Définir et automatiser les règles de Data Quality : tests, contrôles et validations.
Documenter les architectures, pipelines, transformations et règles métier.
Veiller à la conformité et à la sécurisation des flux de données, notamment au regard des exigences RGPD.
Environnement technique
Python
Spark
dbt
Apache Iceberg
AWS
AWS S3 / Glue / EMR
Airflow
Terraform
Docker
Kubernetes
Trino / Starburst
Datadog
Big Data
Lakehouse
Data Modeling
Data Quality
Data Catalog
Le profil recherché
Profil recherché
8 ans minimum d'expérience en Data Engineering.
Très bonne maîtrise des architectures Big Data et Lakehouse.
Expertise confirmée en Spark, Python, dbt, AWS et Terraform.
Expérience concrète des services AWS Data : Glue, EMR, S3...
Bonne maîtrise de la modélisation Data et des architectures Bronze / Silver / Gold.
Expérience de l'industrialisation de pipelines et des problématiques de collecte de données.
Bonne connaissance des environnements de production Data : orchestration, supervision, incidents, CI/CD et observabilité.
Une connaissance de Starburst / Trino est fortement appréciée.
La connaissance d'outils de Data Catalog constitue un plus.
Capacité à comprendre les enjeux métier et à les traduire en solutions techniques robustes.
Autonomie, rigueur, capacité d'analyse et culture de l'amélioration continue.
Infos complémentaires
Publiée le 25/09/2026 - Réf : a467d1f06822b9becc373cffe84b5df7