Data Platform Engineer H/F Vusion

Nous construisons. Nous créons un impact positif.

En tant que Data Platform Engineering / DataOps, vous serez chargé(e) à la fois de créer des pipelines de production et de renforcer l'écosystème à l'aide de normes, de contrôles qualité, de mesures de gouvernance et d'observabilité, afin que les équipes produit puissent livrer plus rapidement des données fiables.

Vos projets
- Migrer les architectures multi-technologies Databricks + Unity Catalog + dbt

- Évaluer les flux existants (batch/stream, orchestrations, modèles, coût/performance) et définir des modèles cibles (Delta Lake, Databricks Jobs/Workflows, modèles dbt).
- Réécrire les pipelines (Kubernetes/Airflow/Spark/SQL) et replatformer les modèles dans dbt en appliquant les conventions de nommage, les tests et la documentation.
- Intégrer les actifs dans Unity Catalog (RBAC/ACL, lignage, masquage des données/PII), structurer les catalogues/schémas et gérer les autorisations.

- DataOps & reliability

- Mettre en oeuvre des systèmes robustes et tolérants aux pannes pour l'ingestion et le traitement des données.
- Renforcer la CI/CD des données (tests dbt dans PR, linting, vérifications de schéma) et l'orchestration avec réessai/backoff, dépendances et conformité avec les SLAs.
- Déployer l'observabilité de bout en bout (métriques du pipeline, fraîcheur, couverture des tests) et les alertes (par exemple, Datadog) avec des playbooks et des objectifs de temps moyen de réparation (MTTR).
- Définir et surveiller les contrats de données et les SLO avec les équipes consommatrices et garantir la conformité.
- Tenir à jour la documentation (catalogue, définitions des métriques, journaux des modifications) et créer des runbooks standardisés pour l'audit et le déploiement des données

- Continuous Improvement

- Optimiser les tâches/tables Delta (partitioning, ZOrder, OPTIMIZE, autoscaling) ; surveiller les coûts/performances (budget, rentabilité unitaire par pipeline).

- Collaboration & enablement

- Travailler en collaboration avec différentes équipes, notamment celles chargées de data science, infrastructure, équipe software, équipe produit et équipe conseil, afin de comprendre leurs besoins en matière de données et de leur fournir des solutions.
- Collaborer avec les Client Analytics Engineers afin de traduire les besoins des retailers en modèles fiables et faciles à maintenir.
- Diffuser les bets practices (modèles dbt, guides d'intégration, listes de contrôle qualité).
- Former les membres de l'équipe à l'interrogation SQL dans Databricks et diriger les mises à jour pendant les sessions Data Domain.

Vos missions :

- Déployer les directives existantes pour migrer les pipelines d'ingestion/ELT sur Databricks (jobs/workflows, Spark/SQL) et les modèles dbt avec des tests et des documents.
- Créer des blocs de code standardisés à utiliser par le reste de l'équipe et gérer les PRs acceptées afin de limiter la dette technique.
- Déployer l'observabilité (dashboard Datadog, alertes) et réduire le MTTR à l'aide de runbooks exploitables.
- Gérer les ensembles de données sous Unity Catalog (catalogues/schémas/tables, lignage, accès, masquage) afin de garantir la conformité et la sécurité.
- Piloter les contrats de données et les SLO, surveiller la fraîcheur/qualité/dérive des schémas.
- Tenir à jour une documentation claire et fournir des modèles afin d'accélérer les migrations ultérieures.