Thèse Foundation Modèles en IA et Contrôle Fiablement Sûr H/F

Doctorat.Gouv.Fr

Établissement : Université Paris-Saclay GS Informatique et sciences du numérique École doctorale : Sciences et Technologies de l'Information et de la Communication Laboratoire de recherche : Laboratoire des Signaux et Systèmes Direction de la thèse : Didier DUMUR Début de la thèse : 2026-10-01 Date limite de candidature : 2026-05-12T23:59:59 Les systèmes autonomes (SA) opérant dans des contextes critiques en matière de sécurité, tels que les véhicules autonomes, doivent faire face à des tâches de plus en plus complexes dans des environnements dynamiques et imprévisibles, tout en garantissant la sûreté face à un large éventail d'incertitudes. Cela fait du contrôle à sûreté garantie sous incertitude un défi central : les SA nécessitent des algorithmes plus efficaces et fiables, capables d'améliorer les performances tout en respectant les exigences de sûreté malgré des perturbations complexes et souvent mal modélisées. Les modèles Vision-Langage-Action (VLA) ont récemment émergé comme un paradigme très prometteur pour le contrôle des SA. En combinant des modèles de fondation vision-langage pré-entraînés avec des décodeurs d'action, les VLA transforment des flux linguistiques et visuels, tels que des images de caméra, en commandes robotiques, améliorant considérablement le raisonnement sur l'environnement physique. Par exemple, un véhicule autonome équipé d'un VLA peut distinguer un panneau publicitaire affichant « ARRÊTEZ de fumer » d'un véritable panneau stop, évitant ainsi un freinage d'urgence dangereux et injustifié. Cependant, en tant qu'architectures neuronales massives de type boîte noire, les VLA restent fondamentalement peu fiables pour le contrôle à sûreté garantie. Ils sont sensibles aux hallucinations, aux biais de données et aux comportements imprévisibles face à des scénarios hors distribution, pouvant potentiellement produire des commandes catastrophiques. L'objectif de cette thèse est de concevoir un cadre rigoureux issu de la théorie du contrôle pour analyser, prédire et contraindre les sorties des VLA, aboutissant à un contrôle fiablement sûr des SA sous incertitude. À cette fin, le ou la candidat(e) établira un pont entre deux axes de recherche récents et jusqu'ici indépendants : les modèles stochastiques latents du monde appris à partir d'observations visuelles, et l'apprentissage sûr d'équations différentielles stochastiques (EDS) contrôlées. La recherche s'articulera autour de trois sous-objectifs. Premièrement, intégrer l'ensemble du pipeline perception-action des VLA dans une EDS contrôlée sur un espace latent de faible dimension. Deuxièmement, exploiter et étendre les cadres existants d'apprentissage sûr afin de calculer des commandes avec des garanties de sûreté prouvées directement dans cet espace latent. Troisièmement, éprouver les algorithmes résultants sur des quadrotors et des robots à roues à la « volière » de CentraleSupélec, dans des scénarios réalistes critiques en matière de sécurité impliquant l'évitement dynamique d'obstacles et des perturbations visuelles hors distribution. Cette thèse couvre ainsi l'ensemble de la chaîne, de la conception algorithmique et de l'analyse théorique à la validation expérimentale. Autonomous Systems (AS) operating in safety-critical circumstances, such as autonomous vehicles, step up to tackle ever-more complex tasks in unpredictably dynamic situations, e.g., safely driving in trafficked roads. They must ensure reliability throughout a large range of uncertainties, including hazardous disturbances due to uncertain dynamic environments. This makes provably safe-against-uncertainty control of AS a relevant key challenge [1]. Specifically, AS need more efficient and reliable algorithms to compute controls that not only enhance performance but also uphold safety standards across the aforementioned large range of complex, often dangerously undermodelled uncertainties. Recently, Vision-Language-Action (VLA) models have emerged as a highly promising paradigm, unveiling unprecedented capabilities and general intelligence for the control of AS [2]. At a high level, VLAs combine pre-trained vision-language foundation models with action decoders. This enables to map language and visual streams, such as flows of camera images, into robotic controls, such as accelerations through time. In doing so, reasoning about physical environment is extensively improved. For example, if an autonomous vehicle driving on a highway detects a large commercial billboard displaying the word STOP smoking, a traditional reactive perception pipeline might falsely trigger a dangerous emergency brake. A VLA, however, processes the image coupled with its deep linguistic context, recognizes it as a mere advertisement, and safely commands the vehicle to keep going. Despite these impressive cognitive leaps, VLA paradigms remain fundamentally unreliable when it comes to provably safe-against-uncertainty control of AS. As massive black-box neural architectures, they are highly susceptible to latent hallucinations, data biases, and unpredictable behaviors when facing out-of-distribution physical scenarios. Revisiting the aforementioned highway scenario, an unexpected out-of-distribution artifact on the billboard could cause the VLA to hallucinate a catastrophic command, such as a sudden and sharp acceleration, therefore triggering a high-speed collision far more devastating than the traditional system's conservative brake [3]. Thesis goal: Design a rigorous control theoretic setting to analyze, forecast, and constrain VLA outputs, yielding reliably safe-against-uncertainty control of AS in safety-critical settings. The algorithms will be stress-tested on quadrotors at CentraleSup´elec's la voli`ere in realistic scenarios. Design a rigorous theoretic setting to control AI foundation models-based autonomous systems under provable margins of safety. The algorithms will be stress-tested on quadrotors at CentraleSupélec's la volière in realistic scenarios.

The candidate will pursue this goal by bridging two recent and so far independent lines of work: latent stochastic world models learned from visual observations [4] and safe learning of controlled Stochastic Differential Equations (SDEs) [5]. In [4], the authors learn stochastic dynamics in a low-dimensional latent space directly from camera images, enabling policy learning entirely within this compact representation. In [5], we develop data-driven methods to learn controls that steer fairly general SDE while guaranteeing collision avoidance with high probability. The candidate's central research direction is to unify these advances through these three sub-goals:
1. Embed the full (Vision-Language-Action) VLA perception-action pipeline into a controlled SDE on a low-dimensional latent space.
2. Leverage and extend the safe learning framework of [5] to compute controls with provable safety guarantees directly in this latent space.
3. Stress-test the resulting algorithms on quadrotors and wheeled robots already available at CentraleSupélec's la volière, in real-world safety-critical scenarios involving dynamic obstacle avoidance and out-of-distribution visual perturbations, e.g., ego robots perturbing the scenario.
This thesis thus spans the whole chain, from algorithmic design and analysis to experimental validation.