Stage M2 IA Generative Évaluation Fiable des Systemes Rag en Production et Agents Autonomes H/F EDF
- Palaiseau - 91
- Stage
- Bac +5
- Secteur Energie • Environnement
À noter sur ce job
Vous avez ces compétences ? Cliquez dessus pour les ajouter rapidement à votre profil !
Détail du poste
La R&D d'EDF (2000 chercheurs) a pour missions principales de contribuer à l'amélioration de la performance des unités opérationnelles du groupe EDF, d'identifier et de préparer les relais de croissance à moyen et long terme. Dans ce cadre, le département Services, Economie, Outils Innovants et IA (SEQUOIA) est un département pluridisciplinaire (sciences de l'ingénieur, sciences humaines et sociales) qui fournit un appui à l'élaboration et au portage des offres, des services et des outils de relation client aux directions opérationnelles du groupe EDF.
Au sein de ce département, ce stage sera rattaché au groupe « Statistiques et Outils d'Aide à la Décision » (SOAD) : cette équipe compte une vingtaine d'ingénieurs chercheurs spécialisés en IA et data science avec des compétences fortes autour du machine learning et du deep learning, du web sémantique, de l'IA symbolique et de l'IA générative (texte, voix, image, multimodalité...), en particulier du NLP (LLM, RAG, data mining,).
Dans le cadre de nos projets en IA générative, nous exploitons un chatbot RAG (Retrieval-Augmented Generation) en production sur une base documentaire métier dynamique. La qualité de ses réponses est actuellement suivie à l'aide d'outils d'évaluation tels que Giskard, reposant en grande partie sur des approches de type LLM-as-a-Judge.
Cependant, plusieurs travaux récents soulignent que les métriques actuellement utilisées ne sont pas toujours représentatives de la qualité réellement perçue par les utilisateurs. Les corrélations entre métriques automatiques, évaluations humaines et performance opérationnelle restent encore mal comprises, notamment sur des données métier réelles.
Vos missions principales :
État de l'art et analyse comparative : Étudier les métriques RAG existantes et comparer l'efficacité des frameworks du marché (Giskard, DeepEval, RAGChecker) sur nos données de production.
Étude d'impact du Juge : Analyser l'influence du modèle utilisé comme juge (Gemma, Qwen3.5, etc) et mesurer la corrélation avec les retours annotateurs.
Conception d'une plateforme agentique d'évaluation continue : Développer un système multi-agents (surveillance documentaire, clustering, génération de jeux de tests synthétiques et détection de régression) permettant de monitorer les performances du chatbot en continue.
Environnement technique
Le stage se déroulera dans un environnement de calcul dédié à l'IA comprenant :
· Infrastructure GPU NVIDIA DGX A100 et DGX H100 ;
· Plusieurs modèles de langage open source déployés localement pour l'expérimentation et les évaluations ;
Le profil recherché
Etudiant(e) en Master 2 ou équivalent école d'ingénieur, spécialité data science, IA ou équivalent
Compétences solides en programmation, en particulier en Python.
Connaissance des techniques de traitement du langage naturel (NLP) et des modèles d'IA générative
Autonomie, curiosité et esprit d'analyse.
Une première expérience avec les agents IA ou l'évaluation des LLM constitue un plus.
Unité d'accueil : Groupe SOAD (Statistique et Outils d'Aide à la Décision), département SEQUOIA d'EDF Lab Paris-Saclay, 7 boulevard Gaspard Monge, 91120 Palaiseau.
Le stage sera encadré par des ingénieurs-chercheurs Data Scientist du département SEQUOIA.
Durée du stage : 6 mois à partir d'Avril ou Mai 2027
35h/semaine
Transmettre par mail un CV et une lettre de motivation à:
Lydia OULD OUALI (****@****.** )
Nicolas Vautier (****@****.**)
Les avantages
- Bien-être au travail et votre sécurité font partie de nos priorités
- Equilibre vie pro - vie perso grâce au télétravail
- Un Groupe engagé dans la RSE : mixité, insertion des jeunes, diversité
- La formation pour le développement des compétences accessible à tous
- Une rémunération attractive
- Des compétences reconnues et encouragées
- Changer de métiers, de régions, de domaine en restant dans le Groupe
Les étapes de recrutement
Les étapes de recrutement peuvent varier selon l'offre à laquelle vous postulez.
-
Vous postulez à une ou plusieurs offres d'emploi en toute simplicité
-
Votre profil est pré-sélectionné, un de nos recruteurs vous contactera
-
Si vous êtes sélectionné, vous rencontrez un manager pour confirmer votre motivation
-
Vous êtes informés de la décision finale du recrutement
-
Si vous êtes choisis, bravo ! Vous débutez votre processus d'intégration chez EDF !
-
EDF en images
La carte
7 Boulevard Gaspard Monge
91120 Palaiseau
Publiée le 10/11/2026 - Réf : 2026-186671
