Thèse Explications Ancrées et Atténuation des Hallucinations dans l'IA Générative Multimodale H/F

Télécom Paris

L'IA générative multimodale a considérablement progressé dans sa capacité à raisonner simultanément sur divers types de données, tels que le texte et la vision. Cependant, à mesure que ces modèles changent d'échelle, ils souffrent souvent d'« hallucinations », générant du texte ou des images factuellement incohérents avec le contexte fourni. Pour garantir que ces systèmes sont fiables pour un déploiement en conditions réelles, il est essentiel que leurs sorties soient non seulement plausibles, mais aussi ancrées dans les preuves visuelles et textuelles qu'ils traitent. Ce projet de doctorat se concentre sur l'avancement de l'ancrage visuel (visual grounding) en tant que mécanisme central pour améliorer l'explicabilité et atténuer les hallucinations dans l'IA générative.

L'essor des modèles génératifs multimodaux a révélé un défi majeur : le passage à l'échelle (scaling) augmente la fluidité des résultats mais exacerbe les risques d'hallucinations. Le modèle peut « inventer » des détails plausibles mais faux, car il privilégie souvent la probabilité linguistique ou visuelle sur la vérité factuelle.
Dans la littérature actuelle, l'ancrage visuel est principalement traité comme une tâche de détection d'objets. Ce projet propose de le repositionner comme une condition sine qua non de la génération : une IA ne devrait générer que ce qu'elle peut prouver. C'est un changement de paradigme vers une IA Générative Fidèle.

L'objectif est de transformer la manière dont l'IA générative interagit avec les données multimodales :
- Ancrage Spatio-Temporel : Développer des mécanismes permettant d'associer les éléments générés à des régions spatiales précises du contexte d'entrée.
- Méthodes d'Ancrage Intrinsèque : Concevoir des modèles qui apprennent d'eux-mêmes à référencer leurs sources visuelles sans nécessiter d'annotations manuelles coûteuses, favorisant une explicabilité native.
- Architecture d'Auto-Vérification : Implémenter des protocoles où le modèle agit comme son propre critique, vérifiant la cohérence de ses affirmations par rapport aux données brutes pour éliminer les hallucinations.
- Fiabilité à Long Terme : Garantir que l'ancrage reste stable lors de tâches de génération complexes ou de dialogues prolongés, évitant ainsi l'accumulation d'erreurs au fil des interactions.

Le programme de recherche explore quatre axes méthodologiques complémentaires, visant à transformer l'ancrage d'une simple tâche auxiliaire en une capacité de raisonnement intrinsèque :
- Avancement de l'ancrage visuel pour l'explicabilité : Cette phase initiale se concentre sur le perfectionnement des techniques d'alignement entre les différentes modalités au sein des modèles génératifs. L'objectif est d'analyser des méthodes de représentation latente et d'optimisation des mécanismes d'attention pour permettre au modèle de lier explicitement chaque segment de texte généré à des régions spatiales précises de l'image.
- Développement de méthodes d'ancrage intrinsèque : Contrairement aux approches supervisées classiques, nous proposons que la tâche elle-même guide l'apprentissage de l'ancrage. Le modèle, confronté initialement avec des données limitées, devra apprendre à effectuer activement les détails nécessaires à la résolution d'un problème. À l'instar de l'entraînement du raisonnement (Chain-of-Thought), l'ancrage devient ainsi une stratégie acquise pour maximiser l'utilité de la réponse.
- Atténuation des hallucinations par l'auto-cohérence : Nous ciblons spécifiquement la réduction des hallucinations en contraignant le modèle à justifier chaque aspect de sa génération par le contexte fourni. L'introduction d'une fonction de perte d'auto-cohérence (self-consistency loss) permettra de décourager la production d'éléments improbables ou non étayés par des preuves factuelles. Un autre axe majeur sera la mise en place de boucles de vérification : le contenu généré sera passé au crible d'un module de critique, dont les résultats seront réinjectés sous forme de récompenses pour créer une boucle d'auto-amélioration (self-improvement loop).
- Évaluation du raisonnement ancré : Pour valider ces approches, nous définirons des cadres d'évaluation ciblant les scénarios d'hallucination les plus complexes. Le projet mettra l'accent sur les contextes longs, qu'il s'agisse de dialogues multi-tours ou de données séquentielles étendues. L'enjeu est de mesurer la capacité du modèle à maintenir un ancrage fidèle et cohérent sur la durée, malgré l'accumulation potentielle de bruit ou d'incertitude dans la génération.