Data Engineer Dataiku H/F Edugroupe
Paris - 75 FreelanceOffre d’une ESN
-
Cette offre est publiée par une ESN. Le poste peut être situé au sein de l’entreprise indiquée ou chez un client pour lequel elle recrute.
- Télétravail occasionnel
- Bac +5
- Enseignement • Formation
- Exp. 1 à 7 ans
Les missions du poste
Objectifs :
Le bénéficiaire souhaite une prestation d'accompagnement pour le pipeline de traitement des données de l'équipe (suivi de la production des données, maintenance du pipeline, améliorations, intégration des nouveaux besoins).
Contexte :
L'équipe ITG A3I - Data produit des tableaux de bord sur l'usage des outils de la toolchain DevSecOps du Groupe.
Les traitements sont organisés autour d'un pipeline de production : scripts Python pour la collecte, des données via API, bases postgreSQL et COS pour le stockage des données, pipelines Dataiku + SQL pour la préparation / enrichissement des données, Tableau pour la production de tableaux de bord
Un pipeline CICD, permet d'automatiser les déploiements. Il s'appuie sur Gitlab pour la gestion du code, Jenkins et Gitlab CI (cible) pour l'étape de build, Argo CD pour le déploiement,
Un suivi du bon déroulement des jobs, et de leur relance éventuelle est opéré par l'équipe.
L'équipe fonctionne en mode agile, par sprints d'une durée de 15 jours.
Les activités type seront celles d'un Data Engineer :
- Conception et architecture des systèmes de données
- Collecte et intégration des données
- Nettoyage et transformation des données
- Optimisation des performances
- Suivi des traitements, analyse des erreurs et correction de bugs, lancement de traitements de reprises
- Maintenance des systèmes de données et support technique en cas de problèmes en concertation avec l'ingénieur DEVOPS de l'équipe.
- Collaboration avec les data scientist, analystes de données et autres parties prenantes pour comprendre leurs besoins et fournir des solutions adaptées.
- Documentation des travaux réalisés
Une période de recouvrement d'activité aura lieu en début de prestation. Elle permettra d'examiner les pratiques actuelles et de proposer des actions d'amélioration à mettre en oeuvre dans la suite de l a mission.
Le profil recherché
Autres attendus
- Autonomie
- Force de proposition sur l'amélioration / l'optimisation des traitements existants et la mise en place de bonnes pratiques de développement
- Maîtrise de Python, programmation OO et design pattern + gestion de code source Gitlab avec approche Gitflow
- Maîtrise de SQL et de Dataiku
- Connaissance des processus de développement, test unitaires, recette, mise en production
- Expérience de la gestion et l'utilisation de pipelines CI/CD
- Expérience avec Docker et Kubernetes pour le déploiement et la gestion des applications conteneurisées
- Capacité à analyser les logs et les métriques pour identifier et résoudre les problèmes.
Bienvenue chez Edugroupe
À propos de SkillsFirst chez NEURONES :
Filiale du groupe NEURONES, SkillsFirst accompagne les entreprises ayant un besoin d'assistance technique par l'intervention de compétences d'experts, notamment dans le domaine de la DATA.
Nos valeurs : Ecoute, Réactivité, Professionnalisme.
Créez une alerte
Pour être informé rapidement des nouvelles offres, merci de préciser les critères :
Envoyez votre candidature
dès maintenant !
Créez votre compte et
envoyez votre candidature !
dès maintenant !
envoyez votre candidature !
Ces offres pourraient aussi
vous intéresser
Recherches similaires
- Emploi Data engineer
- Emploi Informatique
- Emploi Paris
- Emploi Développeur
- Emploi Technicien support informatique
- Emploi Technicien informatique
- Emploi DevOps
- Emploi Développeur Java
- Entreprises Informatique
- Entreprises Data engineer
- Entreprises Paris
- Entreprises Paris
- Emploi Data
- Emploi Junior
- Emploi Maintenance
- Emploi Programmation
- Emploi Documentation
{{title}}
{{message}}
{{linkLabel}}