Ingénieur Big Data H/F Clay France

Détail du poste

Le Data Engineer spécialisé en Spark, Scala et Hadoop sera responsable du développement, de la mise en oeuvre et de la gestion de pipelines de données robustes et évolutifs pour le traitement et l'analyse de grands ensembles de données. Il travaillera en étroite collaboration avec les équipes de développement logiciel, les data scientists et les architectes Big Data pour concevoir, développer et déployer des solutions de traitement de données efficaces et hautement performantes.

Responsabilités :

Développement de Pipelines de Données : Concevoir, développer et mettre en oeuvre des pipelines de données scalables et efficaces en utilisant Spark et Scala pour le traitement distribué des données.

Traitement de Données Massives : Gérer le traitement de données massives en utilisant des technologies comme Hadoop pour assurer la performance et la fiabilité des solutions.

Optimisation des Performances : Optimiser les performances des pipelines de données en identifiant et en résolvant les goulots d'étranglement et en utilisant des techniques d'optimisation avancées.

Intégration de Données : Intégrer des données provenant de sources multiples et hétérogènes en utilisant des outils et des technologies appropriés pour assurer la cohérence et l'intégrité des données.

Qualité des Données : Assurer la qualité des données en mettant en place des processus de nettoyage, de validation et de normalisation des données.

Sécurité et Confidentialité : Mettre en place des mesures de sécurité et de confidentialité des données pour garantir la protection des informations sensibles.

Documentation : Documenter les pipelines de données développés, y compris les spécifications techniques, les flux de données, les schémas, etc.

Excellente maîtrise de Spark et Scala pour le développement de pipelines de données distribués.

Solides compétences en programmation et en développement logiciel, avec une expérience significative dans la programmation fonctionnelle.

Bonne connaissance de Hadoop et de son écosystème (HDFS, MapReduce, Hive, HBase, etc.).

Expérience dans le développement de solutions Big Data, de préférence dans un environnement de production.

Compétences en gestion de projet et capacité à travailler efficacement dans un environnement Agile.

Compétences analytiques et capacité à résoudre des problèmes complexes liés au traitement de données massives.

Excellentes compétences en communication et en collaboration.

Capacité à travailler de manière autonome et en équipe.

Formation et Expérience :

Diplôme en informatique, en génie logiciel, en sciences des données ou dans un domaine connexe.

Expérience professionnelle de 3 années d'expériences minimum dans le développement de solutions Big Data, avec une expertise particulière dans l'utilisation de Spark, Scala et Hadoop.

Clay Group, c'est un collectif engagé d'artisans de la Tech' !

Où le bien-être et la progression de chacun sont les priorités : Des rôles et objectifs clairement définis pour toutes et tous, un investissement fort dans la formation.

Où la répartition des richesses est juste et transparente : Une transparence totale sur les marges réalisées et la répartition de la valeur créée.

Où la stratégie RSE est au coeur de la stratégie d'entreprise : Une démarche responsable sur tous les plans, avec l'ambition d'être une entreprise contributive.

Notre raison d'être : " Nous accompagnons nos clients en façonnant les usages numériques de demain autour d'un collectif engagé et d'une organisation contributive "

Clay est engagé en faveur de la diversité et de l'égalité professionnelle entre les femmes et les hommes. Chez nous, tous les talents sont reconnus !