Data Engineer Gcp - Mission Freelance H/F Freelance.com

Le besoin

Contexte

Au sein du département IT d'une grande institution financière (DSI Corporate), la DSI T&O et BPA a pour vocation de fournir aux services Technologies & Opérations (pôles Global Business Management and Transformation (GBMT), WorkPlace, CIO Office Groupe) et Banque de Proximité et Assurance (BPA), l'ensemble des applications nécessaires à leur fonctionnement.

Missions

Nous recherchons un profil data engineer GCP qui sera en charge, en lien avec l'équipe de production applicative / devops, de mettre en oeuvre techniquement les demandes métier sur le projet DatOps. Passionné par le développement et le traitement des données, capable de s'adapter à un environnement dynamique et en constante évolution, le prestataire doit faire preuve d'autonomie, d'initiative et d'une forte capacité d'analyse pour résoudre des problèmes complexes.

Les tâches suivantes seront confiées au consultant :

• Mettre en oeuvre de nouvelles ingestions de données, data prep/transformation
• Maintenir et faire évoluer nos outils de gestion des pipelines de données
• Adresser à l'équipe devops les demandes relatives aux évolutions de la plateforme

Compétences métier

• Développe, construit des infrastructures de données d'un point de vue système et sécurité.
• S'assure de la collecte, du stockage et de l'exploitation des flux de données répondant aux enjeux de l'entreprise.
• Est garant de l'accès qualitatif des sources de données qui viennent alimenter des espaces de stockage afin d'en faciliter l'exploitation par les Data Scientist et Data Analyst.
• Définit également la structure des métadonnées.
• Industrialise les modèles de Machine Learning.
• Maintient et participe au suivi du RUN des applications/modèles développés.
• Cartographie et documente les sources de données.
• Assure la maintenance des différentes applications déployées en production et des infrastructures associées.
• Conçoit les solutions permettant le traitement de volumes importants de flux de données.
• Structure les bases de données (sémantique, format, etc.).
• Contribue à la gestion des référentiels de données.
• Capte et stocke les données (structurées ou non) produites dans les différentes applications ou venant de l'extérieur de l'entreprise.
• Assure la supervision et l'intégration des données de diverses natures qui proviennent de sources multiples. Vérifie la qualité des données et s'assure de leur sécurité.
• Assiste les Data Scientists dans l'optimisation des performances techniques des modèles de Machine Learning.
• Industrialise les modèles de Machine Learning conçus par les Data Scientists.
• Reste en alerte sur les technologies liées au traitement de la manipulation de la données et identifie les solutions utilisables.
• Propose des évolutions pour les infrastructures et solutions de données en place.

Outils & Environnement

• Plateforme GCP (Google Cloud Platform)
• BigQuery, Cloud Storage
• SQL, Python orienté objet, Pandas et/ou Dask
• Bash scripting, GIT
• Outils complémentaires appréciés : Cloud Functions, SAS, Alteryx, XLD/XLR, ControlM, Hadoop, Spark
• Méthodologie agile, notamment SCRUM
• Anglais courant à l'écrit et à l'oral

Conditions de travail

• Démarrage : 28/09
• Dead line candidature : 24/09
• Localisation : Charenton-Le-Pont
• Durée mission : 5 mois
• TJM : 475€ HT