Data Engineer Gcp - Python H/F Highteam Grand Sud

Détail du poste

VOTRE QUOTIDIEN RESSEMBLERA A...

Vous rejoignez notre client au sein d'une équipe qui conçoit et industrialise des cas d'usage de Data Science (IA et IA Gen). Vous interviendrez principalement sur
- La mise en place de la collecte et la mise à disposition des données au sein de l'entreprise
- L'industrialisation et la mise en production des traitements sur les données (mise à disposition de tableaux de bords, intégration de modèles statistiques) en lien avec les équipes métiers et les équipes qui les analysent

A ce titre, vous serez en charge de :
- Acheminer la donnée
- Mettre à disposition la donnée aux équipes utilisatrices
- Mettre en production des modèles statistiques
- Effectuer le suivi de projet de développement
- Développer des jobs spark
- Assurer le traitement et l'ingestion de plusieurs formats des données
- Développer des scripts
- Développer et Implémenter des collectes de données, des jobs de traitement et mapping de données
- Développer des moyens de restitution via la génération de fichiers et ou API & Dashboarding
- Collecter toutes les données et les fournir aux clients en tant qu'API ou fichier
- Développer des pipelines d'ingestion à partir de différentes sources (streaming et batch) ainsi que des spark jobs le prétraitement des données et calcul des indicateurs de performance (KPI)
- Développer des API génériques d'ingestion et de traitement de données dans un environnement HDP
- Participer à la conception, mise en place et administration de solutions Big Data
- Participation à l'installation, administration et configuration des Hadoop clusters.
- Participer à la mise en place en Spring Boot des services d'extraction de data du système legacy (tera data), la data sera par la suite envoyée au data lake via des topics Kafka
- Normaliser et agréger les données afin de produire les rapports sous forme de Business View

Environnement Technique : Kafka, TeraData, Hadoop, GCP, Python, Business View, API, Spark, Spring Boot

Le poste est basé à Nantes (44). Dans le cadre de vos fonctions, vous pourrez bénéficier jusqu'à 2 jours de télétravail par semaine.

VOUS NOUS APPORTEREZ...
- Votre formation supérieure (Bac +5 ou Ecole d'Ingénieur) en informatique / data
- Votre expérience de 2 ans minimum sur un poste similaire
- Votre maîtrise de GCP et Python
- Votre connaissance de Hadoop, Spark, Springboot, Kafka et Teradata

ET SURTOUT !
- Votre capacité à travailler au sein d'un environnement exigeant
- Votre autonomie et votre rigueur
- Votre esprit d'analyse et d'équipe

QUI SOMMES-NOUS ?

HighTeam est un groupe de conseil en informatique créé en 2009 à Paris et spécialisé en transformation digitale. Avec un chiffre d'affaires de 55 millions d'Euros en 2023, HighTeam continue de renforcer sa présence en région pour plus de proximité avec ses clients et ses équipes. Aujourd'hui, c'est près de 500 Highteamers qui portent au quotidien nos couleurs et nos valeurs auprès de nos clients grands comptes (CAC40 / SBF120).