Data Engineer - Domaine de l'Environnement - Toulouse H/F Celad

2 jours de télétravail / semaine - Toulouse - Expérience de 3 ans minimum

Envie d'un nouveau challenge... CELAD vous attend !

Nous poursuivons notre développement et recherchons un(e) Data Engineer pour intervenir chez l'un de nos clients dans le domaine de l'environnement, disposant d'une plateforme Big Data exploitant de très grands volumes de données.

Ces données alimentent des algorithmes d'analyse avancée et des services à forte valeur ajoutée (détection d'anomalies, prévisions, aide à la décision).

Vous rejoignez une équipe data transverse avec un objectif clair : industrialiser et fiabiliser des traitements Big Data à grande échelle.

Vos missions :

Au sein d'une équipe Transformation & Modélisation pluridisciplinaire (data engineers, data scientists, développeurs), vous serez amené(e) à :

- Contribuer à la mise en place et à l'évolution de la stack Big Data
- Développer des jobs Spark pour l'ingestion, la préparation et l'enrichissement de données massives
- Alimenter et maintenir les données du data lake ou les rendre disponibles pour des usages IA / ML
- Enrichir le serving layer et exposer les données via des web services
- Participer à la mise en production, à la maintenance et à l'amélioration continue des traitements
- Collaborer étroitement avec les équipes data, IT et métiers

Compétences techniques :

- Expérience confirmée en Data Engineering et traitement de données volumineuses
- Très bonne maîtrise de Apache Spark
- Bonne connaissance des architectures Big Data et des data lakes
- Expérience sur des pipelines data industrialisés
- Sensibilité aux problématiques de performance, robustesse et qualité des données
- Une connaissance des environnements ML / IA est un plus