Stage - Génération de Données Synthétiques pour l'Evaluation et l'Amélioration des Systèmes Rag H/F Safran

Safran est un groupe international de haute technologie, leader mondial dans les domaines de l'Aéronautique, de l'Espace, de la Défense et de la Sécurité. Au sein du centre de R&T du groupe (Safran Tech), l'Unité de Recherche Maths & Algorithms for Temporal Data (MATD) développe des méthodes innovantes en collaboration avec des partenaires académiques, dans des domaines tels que les Grands Modèles de Langage (Large Language Models, LLMs).
Pour améliorer la qualité des réponses et adapter le modèle à des connaissances spécifiques, l'approche Retrieval-Augmented Generation (RAG) consiste à coupler un ou plusieurs LLMs avec une base de données externe [1]. Cette méthode présente l'avantage d'augmenter les connaissances du LLM avec des données régulièrement mises à jour et potentiellement confidentielles qui n'ont pas été intégrées lors du pré-entraînement ou du fine-tuning. Cette approche facilite également l'accès aux informations internes par l'identification et l'extraction d'informations pertinentes. Cependant, l'amélioration (via fine-tuning) et l'évaluation rigoureuse de ces solutions restent un défi majeur, notamment en raison de la diversité des cas d'application et de données labélisées adaptés à ces différents cas d'usage.

Problématique
L'amélioration et l'évaluation des systèmes RAG nécessite des jeux de données représentatifs des tâches et domaines d'application ciblés. Cependant, la plupart des jeux de données publics sont génériques et inadaptés aux cas d'usage industriels spécifiques, comme ceux rencontrés chez Safran. Les jeux de données spécialement conçus pour le secteur aéronautique demeurent particulièrement rares et se cantonnent généralement à des tâches très spécialisées. Par ailleurs, la création et l'annotation manuelle de jeux de données par des experts humains s'avèrent particulièrement coûteuses et chronophages. Une approche prometteuse consiste à générer des jeux de données synthétiques adaptés aux cas d'usage spécifiques en exploitant les capacités des LLMs.