Data Ops - Data Platform Engineer Senior H/F Visian

Le besoin

Contexte

Le présent appel d'offre a pour objet la sélection d'un Data OPS/Data platform Engineer Senior afin d'accompagner le pôle Data Fabric d'une grande entreprise du secteur ferroviaire.

Missions

• RUN et fiabilité de la plateforme

  • Garantir la disponibilité, la performance et la sécurité de la Data Platform.

  • Investiguer et résoudre les incidents de production.

  • Améliorer l'observabilité, le monitoring et l'alerting.

  • Participer à l'amélioration continue de l'exploitation.

• Construction et évolution du socle Data

  • Développer et maintenir les services de la plateforme.

  • Participer à la mise à disposition d'environnements self-service pour les équipes Data.

  • Industrialiser les déploiements via Infrastructure as Code et CI/CD.

  • Contribuer à l'amélioration de l'expérience développeur.

• Modernisation et migration

  • Participer à la migration du patrimoine historique vers les nouvelles architectures Lakehouse.

  • Accompagner la transition des usages existants.

  • Optimiser les coûts d'exploitation des solutions Data.

• Services Data et consommation

  • Développer les services d'exposition et de consommation des données.

  • Contribuer aux sujets de gouvernance, catalogage et partage de données.

  • Participer à l'ouverture multi-client des services Data.

• Gouvernance et services Data Platform

  • Contribuer à la standardisation et à l'industrialisation des Data Products afin de garantir leur réutilisabilité, leur qualité et leur maintenabilité.

  • Participer à la définition, à l'implémentation et au suivi des Data Contracts entre producteurs et consommateurs de données.

  • Mettre à disposition et faire évoluer les services de la plateforme liés au catalogage, à la découvrabilité et à la documentation des données.

  • Implémenter et automatiser les mécanismes d'habilitation et de contrôle des accès afin de garantir la sécurité et la conformité des usages.

  • Accompagner les équipes Data dans l'adoption des standards de gouvernance et des bonnes pratiques de publication des Data Products.

Livrables

• Mise en place et suivi des SLA/SLO sur les pipelines et Data Products en production.

• Dispositif de monitoring et d'alerting opérationnel (dashboards, seuils, règles de qualité en continu).

• Procédures de gestion des incidents data : détection, qualification, résolution, post-mortem.

• Runbooks et documentation d'exploitation pour les pipelines critiques.

• Reporting de fiabilité (disponibilité, taux d'incidents, temps de résolution) auprès des Data Product Owners.

• Data Catalog

• Data product

Compétences

• Architecture : Lakehouse

• Infra : AWS, EKS, CI/CD, Terraform, Iceberg

• Ingestion : MSK, DataStream, SQS

• Gouvernance : lakeformation, Data Catalog, DataProduct/contract

• Process : Airflow, Starburst

• Développement : Python, Software craftmanship (bonnes pratiques de dev)

• Monitoring : Datadog, AWS, FinOps

Compétences clés

• Obligatoire :

  • Data Catalog

  • AWS

  • Terraform

  • Observabilité Data

  • Starburst

• Important :

  • Data Product Management

  • Data Contract

  • Data Quality