Thèse Recherche Active de Concepts Latents pour les Archives Patrimoniales H/F Doctorat.Gouv.Fr

Établissement : Université de Montpellier École doctorale : I2S - Information, Structures, Systèmes Laboratoire de recherche : Laboratoire d'Informatique, de Robotique et de Micro-électronique de Montpellier Direction de la thèse : Alexis JOLY ORCID 0000000221619940 Début de la thèse : 2026-11-01 Date limite de candidature : 2026-10-15T23:59:59 Les modèles récents de vision-langage ont fortement amélioré la recherche d'images à partir de requêtes textuelles, mais la plupart des systèmes supposent encore que l'utilisateur est capable de formuler précisément ce qu'il recherche. Cette hypothèse est rarement vérifiée dans un contexte de recherche exploratoire : l'utilisateur ne dispose souvent que d'une représentation mentale partielle ou évolutive de son besoin, et plusieurs images peuvent correspondre à la même intention sous-jacente. Des travaux récents sur la recherche interactive, le Mental Image Retrieval et la recherche multimodale multi-tours commencent à traiter ce problème [1-3], mais restent principalement fondés sur des reformulations successives de requêtes ou sur la recherche d'une cible prédéfinie.
Cette thèse étudiera un nouveau problème, que nous proposons d'appeler Interactive Latent Concept Retrieval (ILCR) : l'inférence progressive de l'intention sémantique latente d'un utilisateur à travers des interactions multimodales.
Une première étape consistera à construire ILCR-Bench, un benchmark permettant une évaluation contrôlée et reproductible. De grands modèles vision-langage, tels que Qwen3-VL [4], seront utilisés pour produire des représentations sémantiques riches des images, générer des requêtes initiales ne révélant qu'une partie de l'intention et simuler les interactions ultérieures avec l'utilisateur. La difficulté sera contrôlée à la fois par la perte d'information et par l'ambiguïté induite dans l'espace de recherche. Contrairement à la recherche d'une image cible connue, plusieurs images pourront satisfaire une même intention latente.
Le premier objectif scientifique central sera de représenter l'intention de l'utilisateur comme un état multimodal dynamique et incertain, conditionné par l'ensemble de l'historique : requête initiale, exemples positifs et négatifs, corrections, comparaisons et réponses aux questions précédentes. La thèse étudiera des représentations latentes probabilistes ainsi que des combinaisons adaptatives d'espaces complémentaires, notamment des représentations vision-langage telles que SigLIP2 [5] et des représentations visuelles fines telles que DINOv3 [6]. Une attention particulière sera portée aux contraintes compositionnelles, à la négation, aux informations contradictoires et à l'évolution de l'intention au cours de la recherche.
Le second objectif central concernera l'interaction proactive. Plutôt que d'attendre passivement un nouveau retour de l'utilisateur, l'agent estimera les dimensions encore incertaines de son intention et choisira l'interaction susceptible d'apporter le plus d'information. Des VLM/LLM pourront générer différents types d'actions candidates - questions sémantiques, comparaisons, demandes d'exemples ou d'annotations - tandis qu'un module de décision distinct sélectionnera l'action optimale selon des critères issus de l'apprentissage actif et de la planification expérimentale bayésienne. Des travaux récents tels qu'Ask-to-Retrieve [7] montrent déjà l'intérêt de sélectionner des questions par gain d'information ; ILCR visera à généraliser ce principe à des états multimodaux plus riches, plusieurs formes d'interaction et des ensembles de cibles non uniques.
Un dernier défi concernera le passage à l'échelle : l'agent devra fonctionner de manière interactive sur des collections de plusieurs millions d'images, en combinant index pré-calculés, mises à jour légères en ligne et utilisation sélective de grands modèles multimodaux.
L'évaluation combinera ILCR-Bench et des études utilisateurs sur de grandes collections patrimoniales. L'objectif à terme est de dépasser la recherche par requête pour développer des agents multimodaux collaboratifs capables d'inférer et d'affiner progressivement ce que l'utilisateur cherche réellement.
La thèse se déroulera principalement au sein de l'INA, qui assurera le financement du contrat doctoral, dans le cadre d'une collaboration bilatérale avec Inria. Des séjours réguliers seront organisés à Montpellier au sein de l'équipe-projet Inria IROKO.

La recherche constitue historiquement l'une des missions de l'INA. Son service de Recherche réunit chercheurs, ingénieurs et doctorants autour de problématiques liées à l'analyse et à la valorisation des contenus audiovisuels : traitement des images et des sons, reconnaissance des formes, fouille de données, intelligence artificielle, traitement sémantique des contenus et analyse des médias. Il participe à de nombreux projets de recherche nationaux et européens et accueille régulièrement des doctorants en collaboration avec des laboratoires académiques. Le doctorant pourra interagir directement avec les chercheurs et ingénieurs de l'INA, mais également avec les documentalistes et autres professionnels utilisant quotidiennement ces collections. L'encadrant scientifique à l'INA dispose par ailleurs d'une longue expérience de l'encadrement de thèses et de travaux de recherche dans le domaine de l'analyse et de la recherche de contenus multimédias.

Le doctorant sera également membre à part entière de l'équipe-projet Inria IROKO, équipe commune à Inria et au LIRMM à Montpellier. Des séjours réguliers à Montpellier permettront une interaction étroite avec les chercheurs, ingénieurs et doctorants de l'équipe travaillant notamment sur l'apprentissage automatique, la recherche d'information multimodale et l'analyse de grandes collections visuelles. Le doctorant bénéficiera de l'ensemble de l'environnement scientifique et technique d'Inria : compte informatique, accès aux infrastructures de calcul et aux clusters GPU, outils logiciels et de développement collaboratif, ainsi que participation aux réunions, séminaires et activités scientifiques de l'équipe.

La thèse bénéficiera ainsi d'un double environnement complémentaire : une immersion principale à l'INA, au contact des collections, des utilisateurs et des problématiques opérationnelles, et un ancrage académique au sein d'IROKO pour le développement des contributions méthodologiques et leur valorisation scientifique.