Data Scientist - Contrat Court H/F Direction générale des entreprises (DGE)
- Ivry-sur-Seine - 94
- CDD
- Service public d'état
- Exp. 3 ans min.
Les missions du poste
Financé par l'Agence nationale de la recherche, l'ANR PACMAM associe Inria, le CNRS et le PEReN dans l'objectif de poser les bases d'un audit efficace en boîtes noires des modèles à grande capacité sous contrainte budgétaire. Le projet est organisé en trois groupes de travail, dont le dernier a pour objectif de mettre en place des méthodes opérationnelles permettant de surveiller efficacement les modèles d'intelligence artificielle (IA) générative, et en particulier les grands modèles de langage (LLM), fréquemment mis à jour par leurs fournisseurs. En effet, la plupart des LLM sont aujourd'hui accessibles à distance et fonctionnent en boîte noire : l'utilisateur envoie une requête, le fournisseur renvoie une réponse, sans visibilité sur ce qui s'exécute réellement. Or, et en particulier pour des usages critiques, il est essentiel de connaître précisément le modèle utilisé à un instant t, ainsi que son historique de modifications, y compris les éventuels changements silencieux. Si un modèle est adapté à un usage spécifique à un moment donné, il est essentiel d'en assurer un suivi continu afin de détecter toute évolution susceptible de modifier son comportement. Dès lors, il est crucial de se doter de solutions de monitoring robustes, à faible coût, capables d'assurer la surveillance continue des modifications des modèles d'IA générative.
Un premier exemple d'un tel outil opérationnel est TrackLLM, développé par des équipes Inria et CNRS avec le soutien d'INESIA, à partir de travaux de recherche du CNRS, d'Inria, et du PEReN. TrackLLM est le premier observatoire à mesurer ce phénomène en continu et à grande échelle depuis juin 2026 et sur des essais ponctuels depuis début 2026. Cet outil repose actuellement sur deux méthodes de monitoring.
L'objectif du poste et d'enrichir la banque de méthodes disponibles afin d'élargir les capacités de monitoring et d'identification en condition réelles.
Intégré(e) au sein d'une équipe d'experts en sciences des données au PEReN et au contact des équipes de recherche Inria et CNRS de l'ANR PACMAM, vous serez chargé(e) du développement de cet outil.
Vous serez amené(e) à :
- Identifier dans la littérature les méthodes les plus pertinentes, en appréciant notamment leur performance, leur complémentarité, leur opérationnalisation ainsi que leur adéquation avec les besoins du projet
- Tester et valider ces méthodes
- Intégrer les solutions retenues à l'outil TrackLLM afin qu'elles soient utilisées en conditions réelles
- Analyser les résultats du monitoring afin d'en évaluer l'impact et ajuster si nécessaire
- Assurer le suivi des usages et usagers de TrackLLM, répondre à leurs besoins
Le profil recherché
Vous savez mobiliser vos savoirs en autonomie :
- Connaissance de l'écosystème Python (Python 3.11, bibliothèques usuelles d'analyse de données, écriture de tests unitaires) et des bonnes pratiques de développement associées ;
- Maîtrise des processus de développements logiciels collaboratifs (revue de code, forge logicielle, git, système de ticket, CI/CD) ;
- Solide compréhension du fonctionnement des modèles de langage (LLM)
- Utilisation de modèles d'intelligence artificielle générative (LLM, modèles de diffusion, etc.)
- Expérience en évaluation de LLM via API (sans accès au poids ni au logits), par exemple via OpenRouter.
Vous disposez d'une expérience professionnelle de 3 ans minimum ou d'une thèse de doctorat. Vous savez par ailleurs mobiliser vos savoirs en autonomie aussi bien en développement logiciel qu'en analyse de données et apprentissage automatique.
Les expériences et connaissances suivantes seront considérées comme des atouts sans pour autant être strictement requises dans le contexte de cette fiche de poste :
- Une expérience dans une administration, une autorité administrative indépendante ou dans une instance européenne ;
- la participation à des projets associatifs ou des logiciels libres (mainteneur, contributeur, animation de communauté, ...) ;
- la participation à des projets en lien avec les thématiques de régulation des plateformes numériques et de l'intelligence artificielle abordées par le PEReN (publicité en ligne, modération de contenus, protection des mineurs, gestion des données personnelles, etc.) ;
- une expérience de conduite de projets.
Bienvenue chez Direction générale des entreprises (DGE)
Il a également vocation à animer un réseau de recherche dédié à la régulation des grandes plateformes numériques, et peut être amené à réaliser à son initiative des travaux de recherche académique liés aux différentes thématiques.
Publiée le 30/10/2026 - Réf : MEF_2026-33474
