Thèse Apprentissage Multimodal avec Prise en Compte de l'Incertitude pour la Cartographie des Pigments Fusion Conjointe de Données Xrf et Hyperspectrales H/F Doctorat.Gouv.Fr

Établissement : Université Paris-Saclay GS Informatique et sciences du numérique École doctorale : Sciences et Technologies de l'Information et de la Communication Laboratoire de recherche : Systèmes et Applications des Technologies de l'Information et de l'Energie Direction de la thèse : Sylvie LE HEGARAT ORCID 0000000184942289 Début de la thèse : 2026-10-01 Date limite de candidature : 2026-10-31T23:59:59 Cette thèse porte sur l'identification des matériaux et des pigments dans le domaine de la conservation du patrimoine (peintures, photographies, sculptures, etc.). L'objectif est de développer une méthode d'apprentissage sobre en données et capable de quantifier l'incertitude, en combinant plusieurs sources d'information hétérogènes, notamment la fluorescence X (XRF) et l'imagerie optique spectrale (hyperspectrale ou multispectrale).

Le coeur du projet est le démélange multimodal (multimodal unmixing), c'est-à-dire l'estimation, en chaque point de l'oeuvre, des proportions des différents pigments, malgré peu d'annotations et des écarts importants entre capteurs et entre oeuvres. L'identification des pigments découlera ensuite de ces estimations. Le travail tiendra explicitement compte des lois physiques de mélange propres à chaque modalité : mélange quasi linéaire pour la XRF, et modèles de type Kubelka-Munk pour l'imagerie optique.

Les principaux axes de recherche sont :

Acquisition et prétraitement des données multimodales, avec réalisation de maquettes peintes, constitution de jeux de données et alignement entre modalités ;
Apprentissage de représentations robustes, guidé par la physique, avec auto-supervision, augmentation de données et adaptation aux changements de domaine ;
Fusion multimodale et quantification de l'incertitude, pour produire des cartes de pigments interprétables, pondérer dynamiquement les modalités et fournir des niveaux de confiance utiles aux experts.

Résultats attendus :
un jeu de données multimodal de référence, des algorithmes de fusion adaptés au patrimoine culturel, et une chaîne complète de cartographie des pigments produisant des cartes d'abondance interprétables et exploitables par les conservateurs. Le projet combine plusieurs modalités d'imagerie (térahertz, ultrasons, thermographie infrarouge, imagerie hyperspectrale/multispectrale et rayons X) avec des approches de fusion multimodale, de visualisation interactive et de jumeaux numériques. Les résultats sont validés sur des maquettes et sur des oeuvres, valorisés notamment par des dispositifs de réalité augmentée dans les musées, et diffusés en accès ouvert.
UNVEIL est un réseau doctoral européen Marie Skłodowska-Curie réunissant 21 partenaires académiques, culturels et industriels autour du développement de méthodes avancées d'évaluation non destructive et d'outils numériques fondés sur les données pour l'étude des peintures et des oeuvres 3D. L'objectif est de mieux comprendre la fabrication et le vieillissement des objets, afin de soutenir leur conservation, restauration et authentification, tout en formant 12 doctorants à l'interface entre ingénierie et sciences humaines. Les principaux axes de recherche seront les suivants :

1. Acquisition, prétraitement et alignement intermodal de données multimodales : développement de mockups dans des conditions contrôlées, acquisition de jeux de données multimodales (XRF et imagerie spectrale optique) et conception de chaînes de traitement robustes pour le prétraitement et l'alignement intermodal. Cet axe fournit le cadre expérimental et permet une évaluation quantitative.

2. Apprentissage de représentations avec augmentation et adaptation des données guidées par la physique : conception de stratégies d'apprentissage auto-supervisé pour apprendre des plongements lexicaux partagés et spécifiques à chaque modalité, en utilisant des augmentations de données inspirées de la physique et des modèles de mélange (comportement linéaire/quasi-linéaire pour la XRF ; transformations non linéaires inspirées de Kubelka-Munk pour l'imagerie optique) afin de régulariser l'entraînement et d'améliorer la robustesse face aux changements de domaine (entre les oeuvres et les capteurs). Cet axe vise à obtenir des représentations stables et transférables malgré le peu d'étiquettes, l'hétérogénéité des capteurs et la variabilité des conditions d'imagerie.

3. Décomposition multimodale, quantification de l'incertitude et fusion adaptative : Développement de modèles de décomposition multimodale pour estimer l'abondance des pigments, combinés à des mécanismes prenant en compte l'incertitude pour la pondération dynamique des modalités, et des cartes de confiance calibrées pour l'interprétation par des experts. Cet axe fournit des cartes d'abondance des pigments physiquement pertinentes et des résultats fusionnés fiables pour les scientifiques de la conservation.