Thèse Révéler les Types de Biais dans les Grands Modèles de Langage à l'Aide de Graphes de Connaissances H/F

Doctorat.Gouv.Fr

Établissement : Université de Tours
École doctorale : Mathématiques, Informatique, Physique Théorique et Ingénierie des Systèmes - MIPTIS
Laboratoire de recherche : Laboratoire d'Informatique Fondamentale et Appliquée de Tours
Direction de la thèse : Arnaud SOULET ORCID 0000000183356069
Début de la thèse : 2026-10-01
Date limite de candidature : 2026-05-20T23:59:59

Les grands modèles de langage (LLM) offrent des performances remarquables, mais présentent des biais issus des données d'entraînement et des inégalités sociales. Les méthodes actuelles de détection reposent sur des tests ciblés nécessitant de définir à l'avance les biais étudiés, ce qui limite la découverte de biais inattendus. Cette thèse propose de quantifier et de classer les biais des LLM en s'appuyant sur des graphes de connaissances. Les faits issus de ces graphes seront transformés en requêtes afin d'analyser les réponses des modèles et d'identifier des biais potentiels de manière plus systématique. Un défi majeur réside dans la taille de ces graphes, rendant impossible une exploration exhaustive. Le travail consistera donc à sélectionner les requêtes les plus informatives pour détecter efficacement les biais tout en limitant le coût d'interrogation. L'objectif est de mieux comprendre et caractériser les biais des LLM.

Les progrès récents des grands modèles de langage (LLM) se sont révélés très prometteurs dans diverses applications de l'intelligence artificielle (IA) [1, 8]. Cependant, malgré leurs capacités remarquables, les LLM présentent souvent des biais inhérents qui peuvent affecter leurs résultats, ce qui constitue l'une de leurs principales limites [6]. Ces biais, qui trouvent leur origine dans les distorsions inhérentes aux jeux de données d'entraînement, ainsi que dans les inégalités sociétales systémiques [2], soulignent la nécessité de disposer de méthodes avancées pour détecter, analyser et atténuer leur impact, afin de garantir des systèmes d'IA plus équitables et plus fiables [4]. Schématiquement, quantifier un biais entre des catégories (par exemple, femme/homme pour le genre) implique de mesurer la variance de la réponse du modèle pour la même requête, simplement en changeant la catégorie (par exemple, pour le genre, la proximité de la science avec les femmes et les hommes) [3]. Cette méthodologie nécessite donc de choisir le biais à étudier (par exemple, le genre dans les sciences) et de construire en conséquence les requêtes (prompts) à examiner. Malheureusement, le choix du biais et des questions à étudier constitue une limitation majeure, empêchant de révéler des biais inattendus.

Ce travail de doctorat vise à quantifier et à classer les différents types de biais présents dans les réponses des LLM, en utilisant des sources de connaissances structurées telles que les graphes de connaissances (KG) [5] afin de garantir des systèmes d'IA plus équitables.

Nous prévoyons de transformer les faits d'un graphe de connaissances en requêtes afin de mesurer la réponse du modèle et de détecter les catégories susceptibles d'être biaisées. Les graphes de connaissances tels que Wikidata [7] étant gigantesques, il n'est pas possible de transformer chaque fait en requête. Afin de minimiser le nombre de requêtes à soumettre au modèle, nous devons sélectionner les faits qui fournissent le plus d'informations.