Dataops - Data Engineer - Databricks H/F Activus Group

Contexte de la mission

Dans le cadre du développement et de l'exploitation d'une plateforme de traitement et d'analyse de données, nous recherchons un DataOps / Data Engineer.

La plateforme repose sur une architecture hybride comprenant :

- un environnement de développement on-premise dédié à l'exploration et à l'expérimentation des données

- un environnement de production Cloud pour l'exécution et la supervision des traitements

- une application web client permettant l'exploitation des résultats

Le consultant interviendra sur les activités d'exploitation, d'industrialisation et d'optimisation des pipelines de données ainsi que sur le support au déploiement des algorithmes en production.

Missions principales

Exploitation et maintien en conditions opérationnelles

- Assurer le MCO de l'environnement de développement
- Assurer le monitoring et la supervision de l'environnement de production
- Garantir la disponibilité et la performance des services de la plateforme

Data engineering

- Concevoir et mettre en place des pipelines de données
- Participer à l'industrialisation des traitements de données
- Optimiser les performances des traitements et algorithmes

Déploiement et optimisation des algorithmes

- Accompagner le déploiement des algorithmes en production
- Optimiser les traitements distribués (notamment avec Spark)
- Contribuer à la maîtrise des coûts de calcul

Industrialisation et amélioration continue

- Améliorer les processus d'intégration des livrables dans la plateforme
- Mettre en place des mécanismes de versioning et de configuration
- Participer à l'amélioration continue des pratiques DataOps / DevOps

Environnement technique

Data

Python

pandas

Apache Spark via Azure Databricks

SQL

Ops & orchestration

Docker (Docker Swarm)

Ansible

GitHub Actions

Terraform

Apache Airflow

Infrastructure

Red Hat Enterprise Linux

Ubuntu