Thèse la Rlhf de Chatgpt pour la Segmentation et Génération d'Images Médicales Aligner les IA Génératives avec la Pertinence Clinique H/F

Doctorat_Gouv

Établissement : Institut Polytechnique de Paris Télécom Paris
École doctorale : Ecole Doctorale de l'Institut Polytechnique de Paris
Laboratoire de recherche : Laboratoire de Traitement et Communication de l'Information
Direction de la thèse : Loïc LE FOLGOC ORCID 0000000251566616
Début de la thèse : 2026-10-01
Date limite de candidature : 2026-10-01T23:59:59

Ce projet de thèse répond au problème ouvert, en imagerie médicale, 'd'aligner' les prédictions des modèles d'IA générative avec des critères de pertinence clinique, sur des tâches denses telles que la segmentation et la génération de formes anatomiques ; de la même manière que les textes produits par ChatGPT ou DeepSeek sont 'alignés' avec les préférences utilisateurs - contenu licite, pertinence des réponses, raisonnement détaillé. Le projet visera à transporter au domaine de l'imagerie médicale les paradigmes d'apprentissage par renforcement utilisés par les larges modèles de langage (LLMs): RL avec feedback humain et RL avec récompenses vérifiables. Un tel concept 'd'alignement' des prédictions de modèles avec des critères cliniques manque à ce jour dans la littérature d'imagerie médicale. Cela fournira une stratégie unique et bien posée pour intégrer dans des tâches de segmentation ou de génération des critères topologiques ou géométriques arbitraires et non-différentiables, plutôt que proposer avec chaque nouveau cas d'usage une nouvelle stratégie dédiée. Le RLVR sera intégré dans divers modèles : U-Nets probabilistes, VAEs hiérarchiques et surtout modèles de diffusion. Plusieurs extensions seront envisagées, notamment pour de la généralisation de domaine, du transfert de connaissances anatomiques, et pour de la segmentation few-shot. Enfin, le projet permettra la création de larges bases d'entraînement synthétiques de formes anatomiques valides avec les images médicales associées, permettant l'entraînement et la distillation de modèles de segmentation arbitraires.

This project turns towards reinforcement learning and generative AI to improve the performance of deep learning models of semantic segmentation of medical images under the usual constraints that (1) anatomical knowledge must be captured from limited numbers of annotations (data scarcity), and (2) segmentation is performed in challenging contexts: noisy images with artefacts, loss of contrast, shadows, a variety of sequences/modalities and complex anatomical structures.
Diverse approaches have been proposed to address these challenges: (1) for anatomy-guided segmentation: specialized topologic or geometric losses for specific use cases [18-23], shape losses [24], shape edition in latent spaces [25]; (2) for few-shot segmentation: domain adaptation strategies or self-supervised learning strategies [26-31]. To contrast, LLM training involves additional reinforcement learning steps beyond self-supervised pre-training [1,2,3], referred to as 'aligning' to user preferences. RL strategies have considerably simplified and improved in this context [4-9]. There is (very) scarce literature in medical imaging adopting these concepts [32], and we aim to address this situation with this project.

The aim of the project is to develop novel deep learning models of medical image segmentation and generation that address two main bottlenecks towards adoption of automated segmentation algorithms by clinicians and industry: anatomically implausible segmentation outputs and data scarcity. We will consider a variety of use cases: cardiac segmentation (including 2D+t echocardiography), vessel segmentation in abdominal imaging, retinal vessel segmentation, brain structures and possibly lung segmentation. See the attached PDF.

See the attached PDF.