Thèse un Agent Socialement Interactif pour la Médiation Multimodale de Débats Multipartites H/F Doctorat.Gouv.Fr

Établissement : Université Paris-Saclay GS Informatique et sciences du numérique École doctorale : Sciences et Technologies de l'Information et de la Communication Laboratoire de recherche : Laboratoire Interdisciplinaire des Sciences du Numérique Direction de la thèse : Brian RAVENET ORCID 0000000168244800 Début de la thèse : 2026-10-01 Date limite de candidature : 2026-11-30T23:59:59 La polarisation politique, amplifiée par les médias numériques, rend de plus en plus difficile tout dialogue constructif entre des personnes aux opinions divergentes [1]. Des animateurs humains peuvent structurer ces discussions, mais ils sont sujets à des biais et ont une capacité limitée à suivre simultanément l'évolution des positions, des émotions et des arguments de plusieurs participants [2]. Les agents socialement interactifs (ASI), c'est-à-dire les agents conversationnels incarnés et les robots sociaux qui communiquent par la parole, les expressions faciales et les gestes [3][4], sont bien placés pour assumer ce rôle. Des travaux récents montrent que les interventions de l'IA peuvent améliorer les conversations sur des sujets controversés [5] et que les systèmes automatiques peuvent construire et présenter des arguments à un niveau proche de celui d'un expert [6]. Cependant, les médiateurs IA actuels sont principalement textuels, alors qu'une grande partie du contenu social et persuasif d'un débat est transmise de manière non verbale [7][8], et que l'exploration multimodale des arguments surpasse systématiquement les approches purement textuelles [9][10]. Au sein d'un groupe, ces informations proviennent également des auditeurs passifs, dont l'approbation ou le désengagement s'exprime rarement par des mots.

Cette thèse a pour objectif de concevoir, de mettre en oeuvre et d'évaluer un agent socialement interactif (ASI) capable de modérer des débats multipartites en combinant des indices non verbaux et l'analyse des arguments en temps réel. L'agent intègre trois composantes : (i) des modèles de perception multimodale qui évaluent la position de chaque participant, son degré d'accord avec l'orateur actuel et son niveau d'engagement ; (ii) une théorie de l'esprit liée à l'argumentation (ArgToM) qui conserve, pour chaque participant, un profil des prémisses et des valeurs qui fondent sa position [11][12] ; et (iii) une boîte à outils d'argumentation pour la reconnaissance des positions, la détection des sophismes et la recherche dans des bases de connaissances structurées sur le débat, telles que Kialo [13][14][15]. Les interventions sont choisies conformément aux stratégies de gestion des conflits de l'instrument de Thomas-Kilmann [16].
Political and societal debates are increasingly polarized, and social media echo chambers make it harder for people with opposing opinions to listen to each other [1]. Facilitated deliberation is one of the few settings where such groups can reach a common ground, but human facilitators are a scarce resource, are subject to their own biases, and cannot track in real time the evolving positions, emotions and arguments of every participant [2]. Automatic systems have shown that they can retrieve and deliver compelling arguments [6] and that chat-based interventions can make conversations about divisive topics more constructive [5]. These systems, however, only see text, and they mostly react to the person who is speaking.

In a face-to-face debate, much of what matters is not said: a listener nodding, frowning, looking away or interrupting the speaker reveals agreement, disagreement or disengagement before it is verbalized [17][18]. Multimodal approaches improve the prediction of persuasion and agreement compared with text alone [8][9][10][19], but existing multimodal corpora are mostly dyadic or focused on the active speaker [20]. There is therefore a lack of both data and models for groups of three or more people in which the reactions of all participants are captured.

At the same time, Socially Interactive Agents can use the same channels as humans, voice, facial expressions and gestures, and can affect the impressions, engagement and empathy of their interlocutors [3][21][22][23]. This thesis aims to bring these lines of work together in an agent that perceives the group multimodally, models the beliefs and values of each participant, and uses this knowledge to guide the debate toward mutual understanding and consensus.
The objectives of this thesis are:

- to build a multi-party, multilingual multimodal debate corpus annotated for stance, agreement, engagement and interruptions, with a recording setup that captures the passive listeners;
- to develop real-time multimodal models that recognize these dimensions in groups and to identify the non-verbal signals that anticipate opinion shifts;
- to design an SIA architecture in which these models, an Argument-related Theory of Mind and an argumentation toolbox are combined to produce targeted mediation interventions;
The methods draw on Machine Learning, Natural Language Processing, Social Signal Processing and Human-Computer Interaction, and follow three studies.

Study 1 - Multimodal corpus and perception models. Groups of five participants debate controversial topics. Each participant is recorded by a dedicated camera and a lavalier microphone. Before and after each session, participants rate their opinion on the topic and its sub-arguments on a discrete scale, which provides a session-level ground truth for stance and opinion shift.

Study 2 - Agent architecture. The ArgToM module, based on decision-theoretic models of Theory of Mind [11], represents each participant by the premises they endorse, the values behind their stance and the argumentative patterns they accept or reject [12][24][25]. It is updated in real time by the perception models of Study 1. An argumentation toolbox provides stance recognition [13], fallacy detection [14] and argument generation following Kialo's hierarchical structure [15]. Retrieval strategies (hierarchical retrieval over Kialo trees, flat retrieval, no external knowledge) are benchmarked with ArgBench [26], and an agent with ArgToM is compared with a baseline agent without it.

Study 3 - Pilot deployment.