Alternance - Data Engineer - Indicateurs de Transition Écologique - Cloned H/F

Commissariat Général au Développement Durable

Le projet Hub d'IndicateursExemples de missionsAdaptabilité et montée en compétencesTravaux complémentaires

L'apprentissage se déroulera au sein de l'équipe de l', dans le cadre du projet de .l'équipe Data&IAEcolabHub d'indicateurs pour la transition écologiqueDepuis juin 2023, l'Ecolab mène un projet ambitieux visant à fournir aux administrations, centrales ou territoriales, un pour les accompagner dans le pilotage de leur transition écologique et l'atteinte les objectifs nationaux. Ce projet répond à plusieurs enjeux majeurs :socle commun d'indicateursPlutôt que de créer de nouveaux outils, ce projet vise à centraliser les indicateurs existants au sein d'un , accessible via API et intégré dans des plateformes destinées aux collectivités, telles que . Ce hub repose sur plusieurs éléments clés :hub dédiéTerritoires en Transitions
L'objectif de ce projet est de , de stratégique et d'assurer un suivi rigoureux des actions dans le temps.mieux comprendre l'état écologique des territoiresfaciliter la prise de décisionL'alternant.e participera travaillera sur le pipeline de production des données, en étroite collaboration avec le Data Engineer, afin d'améliorer la qualité des données produites et d'en faciliter la gestion.L'alternant.e aura l'occasion d'intervenir sur les différentes étapes du pipeline de donnée :
Extraction (Python) => Transformation (dbt) => API (CubeJS) => Publication (Python)<$>https://ecologie.data.gouv.fr/indicatorshttps://ecologie.data.gouv.fr/indicatorsElle / il aura également l'occasion de se familiariser avec l'infrastructure de déploiement de l'outil :
Hebergeur et Cloud services (Scaleway) => infra-as-code (Terraform) => orchestrateur (Airflow) => mulltithreading (Kubernetes) => containers (docker)Voici quelques exemples de missions concrètes :1. Pipeline de donnée2. Infrastructure Cloud (Scaleway)3. Intégration Continue / Déploiement Continu : CI/CD via Gitlab4. (Optionnel) Front-End
5. (Optionnel) Réponse à des besoins data d'autres services du ministèreLes missions seront adaptées en fonction des compétences et des intérêts du/de l'alternant.e, ainsi que des projets en cours. Il/elle pourra être amené(e) à travailler sur plusieurs projets en parallèle, couvrant diverses activités propres aux rôles de et : cartographie de données, collecte et structuration de bases de données, développement d'indicateurs et mise en place de tableaux de bord.Data OpsData AnalystL'alternant.e sera accompagné(e) tout au long de son parcours et gagnera progressivement en autonomie, notamment en participant au (animation de réunions, rédaction de notes de cadrage, etc.).pilotage de projetsEn plus des missions principales, l'alternant.e aura également l'opportunité de contribuer aux et à la au sein de l'équipe, afin d'améliorer les outils et process en continu.travaux de veille technologiquestructuration de briques technologiques

• aux objectifs de transition écologique à l'échelle nationale ;Suivi des contributions territorialesdes données existantes ;Amélioration de la lisibilité et de l'accessibilitédans de nombreux territoires pour générer ces indicateurs de manière autonome ;Insuffisance d'ingénierieentre les différents outils et dispositifs mis en place par l'État.Manque de coordination
• Création d'un , couvrant les principales thématiques de la transition écologique (énergie, logement, transport, etc.), aligné avec les actions et dispositifs territoriaux ;référentiel d'indicateurs métiersMise en place d'un pour l'extraction, la transformation et la diffusion des indicateurs ;environnement technique robusteUtilisation de pour faciliter l'urbanisation des données et les rendre accessibles sur des plateformes comme , dans une approche partagée et inter-ministérielle.standards communsecologie.data.gouv.fr
  
• Extraction automatique des données sources (API) via des scripts .PythonNettoyage et transformation des données avec (Data Build Tool) pour assurer leur qualité et leur pertinence.dbtMise en place de de qualité afin de valider tant les données sources que les indicateurs métiers.testsPublication et mise à disposition des indicateurs via l'API en utilisant .CubeJSOptimisation de la stratégie de stockage (, S3)PostreSQLInterfacer la BDD avec un LLM via la mise en place d'unMCP
• Maintenance des différents environnements (dev, préprod, prod)Orchestration des flux de données ()AirflowDéploiement automatique (Docker Compose, )KubernetesOptimisation du build ()DockerMise en place de Dashboard de monitoring (, Grafana)ScalewayOptimisation des performances et des coûts d'hébergementAnalyse post-crash : forensic et remédiation ()bash
• Maintenance et évolution des différentes étapes de la CI/CD (Gitlab CI)Mise en place de tests unitairesInfrastructure as Code ()
  Terraform
• Dans le cadre d'un collaboration avec d'autres équipes de l'Ecolab, l'alternant.e pourra éventuellement contribuer au développement de features d'UX (mais ce n'est pas le coeur du projet proposé à ce stade).
• Développement de solutions numériques pour d'autres équipes du ministère(tableaux de bord, automatisation, projet data science)en vue de proposer uneadaptée, avec possibilité de devenir de la solution associée et d'en faire la (plutôt la deuxième année d'alternance le cas échéant)Analyse des besoins métiersolution techniqueProduct Ownergestion de projet