Data Engineer Kafka - Confluent - Déploiement & Industrialisation Bordeaux H/F Neonum

Le besoin

Localisation : Bordeaux (33) - Paris ou Lyon envisageables sous réserve d'une forte autonomie et de déplacements réguliers à Bordeaux
Durée : 12 mois fermes, avec possibilité de deux reconductions
Profil : Expert technique Kafka / Confluent - 3 à 7 ans d'expérience dans la famille de prestations concernée, avec références clients
Environnement : SI d'entreprise, Data Streaming, intégration et réplication de données

Contexte et enjeux

Dans le cadre d'un projet stratégique de modernisation de son système d'information, une grande organisation recherche un Expert Apache Kafka / Confluent pour accompagner la conception, le déploiement et l'industrialisation d'un nouveau socle d'échange de données d'entreprise.

Cette plateforme, reposant sur la technologie open source Apache Kafka et la distribution Confluent, a vocation à supporter différents cas d'usage d'échange, de réplication et d'intégration de données entre les composants du système d'information.

Le projet s'articule autour de deux grandes phases :

• Phase 1 : Construction et mise en production d'un socle Kafka pilote pour alimenter une première plateforme Data.

• Phase 2 : Extension du socle pilote vers une architecture cible plus capacitive, industrialisée et capable d'accueillir de nouveaux cas d'usage.

L'expert interviendra au sein de l'équipe projet, avec une forte implication sur les sujets d'architecture technique, d'intégration, de sécurité, d'automatisation, d'exploitation et de performance.

Missions détaillées

1. Construction et déploiement du socle Kafka pilote

Le premier objectif consiste à mettre en place une infrastructure Kafka / Confluent permettant d'alimenter un premier cas d'usage de type Plateforme Data.

Les données seront produites par différents socles techniques du système d'information :

• SI de gestion reposant sur PostgreSQL.

• Environnement Big Data Hadoop / Cloudera.

• Système décisionnel utilisant IBM DataStage.

• Plateforme de données Teradata.

Responsabilités :

• Installer et configurer le cluster Apache Kafka / Confluent.

• Définir et mettre en oeuvre les normes et standards d'exploitation.

• Installer et configurer les outils d'administration et d'exploitation.

• Mettre en place les mécanismes de sécurité et de gestion des habilitations, en assurant leur intégration dans l'écosystème SI existant.

• Optimiser les performances de la plateforme.

• Construire et industrialiser les processus de fabrication et d'intégration des livrables.

• Définir et implémenter les workflows d'intégration et de déploiement.

2. Intégration et industrialisation des connecteurs Kafka

L'expert prendra en charge l'installation, la configuration et l'industrialisation des connecteurs producteurs et consommateurs Kafka, standards ou spécifiques à la distribution Confluent.

Connecteurs et systèmes concernés :

• PostgreSQL.

• Hadoop / HDFS.

• IBM DataStage.

• Teradata.

• Autres connecteurs nécessaires au périmètre du pilote.

Une attention particulière sera portée à l'industrialisation des connecteurs et à leur exploitation.

Travaux attendus :

• Déclarer les nouveaux producteurs et consommateurs.

• Gérer et maintenir les configurations des connecteurs.

• Assurer l'initialisation et le rafraîchissement des données côté consommateurs.

• Automatiser le déploiement des souscriptions.

• Prendre en compte les évolutions des schémas de données au niveau des topics Kafka.

• Automatiser les opérations techniques récurrentes.

• Garantir la maintenabilité et l'exploitabilité des connecteurs déployés.

3. Mise en place de l'exploitation et de la supervision

L'expert contribuera à la définition et à la mise en oeuvre de l'ensemble des procédures nécessaires à l'exploitation du socle Kafka.

Périmètre :

• Définition des procédures d'arrêt et de relance.

• Gestion des servitudes techniques.

• Mise en oeuvre des mécanismes de supervision et de monitoring.

• Construction des tableaux de bord d'exploitation.

• Rédaction et maintien de la documentation d'exploitation.

• Gestion des procédures associées aux connecteurs déployés.

• Contribution à la continuité de service au sein de l'équipe.

4. Extension et montée en capacité du socle Kafka

Après validation et livraison du socle pilote, le projet entrera dans une phase d'extension destinée à construire une plateforme cible plus capacitive.

Objectifs :

• Accompagner l'évolution du socle pilote vers une plateforme Kafka d'entreprise.

• Permettre l'intégration de nouveaux cas d'usage.

• Étendre le périmètre initial de la Plateforme Data à l'ensemble de ses bases de données et de ses usages.

• Contribuer à la montée en capacité de l'infrastructure pour supporter les futurs besoins d'échange, de réplication et d'intégration de données.

5. Documentation, reporting et transfert de compétences

L'expert assurera également la production des livrables nécessaires à la pérennisation du socle et à sa prise en main par les équipes internes.

Livrables attendus :

• Reporting hebdomadaire des activités.

• Tableau de bord mensuel de suivi d'activité.

• Documentation technique : normes, principes, dossiers d'architecture, dossiers d'administration, dossiers d'exploitation et modes opératoires.

• Organisation de sessions de transfert de connaissances.

• Rédaction des supports de transfert de compétences.

• Complétion et suivi des tickets d'incidents, demandes et changements.

• Contribution à la continuité de service au sein de l'équipe.

Stack technique

Kafka & Data Streaming

• Apache Kafka.

• Confluent Platform.

• Kafka Strimzi.

• Kafka Brokers.

• KRaft.

• Composants Kafka / Confluent, dont Cwork (dénomination du cahier des charges).

• Schema Registry.

• Kafka Connect.

• Connecteurs JDBC.

• Debezium PostgreSQL.

• Connecteurs HDFS.

• Connecteurs propriétaires, notamment IBM DataStage.

• IBM InfoSphere CDC.

Infrastructure & systèmes

• Linux Red Hat.

• Kubernetes.

• Ansible.

• VMware.

Développement & scripting

• Shell.

• Python.

• JSON.

Bases de données & écosystème Data

• PostgreSQL.

• Hadoop / Cloudera.

• HDFS.

• IBM DataStage.

• Teradata.

• SAS.

• Power BI.

• Technologies de Data Streaming.

Exploitation & supervision

• Prometheus.

• Grafana.

• Ordonnanceur IWS.

• Sauvegarde HDPS.

• Outils d'administration, de supervision et d'exploitation Kafka.

Modalités de la mission

• Lieu principal : Bordeaux (Gironde).

• Localisations alternatives : Paris ou Lyon, sous réserve d'une grande autonomie et de déplacements réguliers à Bordeaux.

• Durée initiale : 1 an ferme.

• Reconduction : Jusqu'à deux reconductions possibles.

• Démarrage prévisionnel initial : Novembre / Décembre

• Organisation : Intervention au sein d'une équipe projet dédiée à la mise en oeuvre et à l'industrialisation d'un socle Kafka d'entreprise.

Objectif de la mission

Contribuer à la mise en place d'un socle Apache Kafka / Confluent robuste, industrialisé, sécurisé, supervisé et évolutif, capable de supporter durablement les échanges et les flux de données d'un système d'information d'entreprise complexe.