Expert Spark Data Engineer H/F CELAD

Nous poursuivons notre développement et recherchons actuellement un(e) Expert Spark Data Engineer H/F pour intervenir chez un de nos clients.

Contexte :

La mission s'inscrit dans le cadre d'une solution de traitement de données à des fins de statistiques et de Business Intelligence.

Vous interviendrez sur une architecture Data moderne reposant notamment sur Kafka Connect, Spark, Kubernetes et MongoDB, avec des enjeux de volumétrie importants :

• 350 bases de données
• 5 000 requêtes par seconde
• 1 To de données par an

L'objectif est de réaliser un audit technique et de proposer des axes d'optimisation de la plateforme existante.

Votre mission :

Au sein d'une équipe projet, vous serez en charge de :

- Réaliser un audit et un état des lieux technique de l'existant

- Identifier les axes d'amélioration des traitements Spark (batch et streaming)

- Optimiser les performances pour les flux temps réel

- Définir les recommandations de dimensionnement de l'infrastructure

- Proposer des améliorations sur MongoDB (modélisation et structuration des données)

- Rédiger un document d'architecture cible et de préconisations