Data Engineer H/F Klanik

Détail du poste

En tant que Data Engineer, vous serez chargé de concevoir, développer et maintenir des solutions d'ingénierie de données basées sur les technologies Spark, Scala et Hadoop.

Vous jouerez un rôle essentiel dans la collecte, le traitement et l'analyse de données à grande échelle, en travaillant en étroite collaboration avec les équipes d'ingénierie logicielle et les analystes de données.

Responsabilités :
- Concevoir, développer et optimiser des pipelines de données à l'aide de Spark et Scala pour collecter, transformer et charger des données à grande échelle.
- Implémenter des solutions de stockage et de traitement distribuées avec Hadoop et d'autres technologies connexes.
- Collaborer avec les équipes fonctionnelles pour comprendre les exigences en matière de données et proposer des solutions adaptées.
- Assurer la qualité des données en mettant en oeuvre des processus de nettoyage, de transformation et de validation.
- Surveiller les performances des systèmes de données et résoudre les problèmes de performance ou de fiabilité.
- Travailler sur des projets d'analyse de données avancés en utilisant des techniques telles que le machine learning et le traitement du langage naturel.

Expérience pratique de min 3 ans dans le développement de pipelines de données avec Spark et Scala.

Solide compréhension des concepts et des composants de l'écosystème Hadoop.

Maîtrise des langages de programmation comme Python, Java et SQL.

Connaissance des bases de données NoSQL telles que HBase, Cassandra, etc.

Capacité à travailler dans un environnement distribué et à grande échelle.

Excellentes compétences en résolution de problèmes et en débogage.

Bon niveau d'anglais écrit et oral

Qui sommes nous ?

KLANIK est une société de conseil en Ingénierie IT qui accompagne ses clients dans leurs projets digitaux et technologiques.

Le groupe KLANIK compte désormais plus de 750 talents, évoluant dans 16 agences en Europe, Amérique du Nord, Afrique et Moyen-Orient. Des experts engagés, atypiques et passionnés, impliqués dans des projets stratégiques grâce à leur haut niveau de compétences en Software, DEVOPS, Cloud, Agilité, Cybersécurité, Big Data & IA.

En parallèle de leurs métiers, les collaborateurs du groupe KLANIK sont accompagnés au quotidien dans leur développement personnel et professionnel, via différentes initiatives engageantes et innovantes :
- KONSCIOUS : communauté interne engagée dans les enjeux écologiques, sociaux et environnementaux
- KAMPUS : institut de formation technique certifié
- KORNER : incubateur de start-ups technologiques
- KLANIK ESPORT : club professionnel e-sport ouvert aux collaborateurs