Thèse Description Sémantique de Scènes 3D Extérieures avec de Grands Modèles de Langage H/F

Doctorat.Gouv.Fr

Établissement : Institut Polytechnique de Paris École nationale supérieure de techniques avancées École doctorale : Ecole Doctorale de l'Institut Polytechnique de Paris Laboratoire de recherche : U2IS - Unité d'Informatique et d'Ingénierie des Systèmes Direction de la thèse : François GOULETTE ORCID 0000000315272650 Début de la thèse : 2026-10-01 Date limite de candidature : 2026-06-01T23:59:59 La thèse traite de la problématique de la perception et navigation de robots autonomes en milieux extérieurs peu structurés, par exemple pour des applications de type robotique agricole ou de sécurité. La compréhension sémantique de scènes extérieures non structurées est un verrou scientifique et technologique. En particulier, la notion de traversabilité, à savoir l'espace du monde réel à travers qu'un robot peut physiquement traverser sans être endommagé, se prête mal à une caractérisation purement visuelle (p. ex., par une image), mais nécessite une représentation et une interprétation 3D. Ce projet exploratoire sera mené en considérant les avancées récentes des grands modèles de langage (LLM) qui ont amené de nouvelles méthodes d'analyse d'images (e.g., CLIP [1]). L'utilisation de ces approches pour des applications en 3D est encore très récente [2,3,4] et sera l'objet d'étude de cette thèse.
Cette thèse pourra profiter de l'environnement expérimental du projet ANR Mobilex.

Missions principales :
- Identifier des bases de données et des tâches existant dans la littérature dans des contextes similaires.
- Participer à la création d'une base de données (annotée ou non) d'environnements extérieurs répondant aux critères de l'étude (multimodalités, environnements non structurés, conditions adverses).
- Proposer de nouvelles approches basées sur les grands modèles de langage pour la problématique de la segmentation sémantique de scènes 3D extérieures.
- Formaliser et étudier le problème de la traversabilité par des méthodes d'apprentissage faiblement supervisé.
L'unité d'Informatique et d'Ingénierie des Systèmes (U2IS) développe des recherches dans le domaine de la conception et de la fiabilité de systèmes intégrant des processus décisionnels autonomes avec des applications dans le transport intelligent, la robotique, la défense et l'énergie. Le laboratoire regroupe les activités de recherche de l'ENSTA Paris en informatique, robotique, vision, systèmes embarqués, traitement du signal et de l'image et conception et analyse de systèmes hybrides.
Le laboratoire se concentre sur la recherche orientée vers l'application. Même s'ils peuvent provenir de domaines fondamentaux, la motivation de l'essentiel de son travail est de pouvoir s'intégrer dans des produits (composants, systèmes robotisés, outils de conception ou de validation) qui sont finalement évalués par l'industrie et peuvent donner lieu à des transferts technologiques.