Data Engineer - Data Ops H/F

Groupement interministériel de contrôle (GIC)

Formation et expérience:

Diplômé d'un master ou d'une école d'ingénieur avec une spécialisation en informatique.

Expérience ou appétence marquée développement, architectures et le traitement Big Data. Expérience en lien avec les philosophies DataOps et/ou DevOps.

Savoir-faire:

Le poste requiert des connaissances générales avancées, en analyse et traitement de la donnée, en management des outils de la big data, et de son écosystème ainsi que l'architecture des environnements.

En pratique, vous serez amené à assurer le déploiement et le maintien des plateformes Big Data du GIC en s'appuyant très fortement sur l'automatisation. Vous devrez garantir la vision globale du périmètre couvert par les plateformes dont vous aurez la charge. Il vous faudra assurer le recueil d'indicateurs de bonne santé ainsi que de métriques ainsi que rendre possible des mesures de performances des dites plateformes.

Cela nécessite de maitriser, a minima, l'écosystème de développement nécessaire pour effectuer ces tâches (python, pandas, jupyter, ...) et de faire preuve d'esprit critique, de recul et de pragmatisme, quant aux solutions que vous proposerez.

Enfin, le déploiement des modèles ainsi imaginés au sein d'un écosystème Big Data représente un défi pour lequel il est également attendu que vous développiez des compétences (kafka, spark, hadoop, ...) afin d'aider et d'accompagner quotidiennement les équipes à mettre en place et maintenir les solutions existantes. Cela nécessitera également de respecter des pratiques de développement et organisationnelles partagées (git, code review, méthode agile, ...).

Une connaissance de la culture DevOps et des outils associé sera apprécié.

Aptitudes recherchées:

· Esprit rigoureux et passionné capable d'investiguer, ou d'imaginer si besoin, des pistes d'analyse viables

· Capacité d'analyse

· Esprit d'équipe

· Sens du contact et de la communication

· Discrétion dans le traitement de sujets sensibles

Environnement technique:

- Environnement principalement Open source

- Langages : Python, PySpark (optionnel: Scala)

- Big data : Hadoop, Spark, ElasticSearch

- Bases de données et stockage : Maitrise du SQL, NoSQL

- Architecture: Kafka, conteneurs, CI/CD

- Gestion des configurations : Ansible, Puppet, Chef

- Script : Python, Bash

- Intégration continue: Git

La sous-direction technique du GIC fournit les systèmes d'information métier nécessaires à l'accomplissement des missions du GIC. Au sein de cette sous-direction, vous rejoindrez une équipe polyvalente au centre de la conception et du développement des systèmes techniques du GIC. Intégré au sein d'une équipe de programme résolument tournée vers les technologies de pointe du traitement Big Data et en pleine expansion, vous serez ainsi chargé de réaliser les piles applicatives orchestrant la validation des demandes interministérielles ou encore la mise en oeuvre des techniques de renseignement.