Compréhension de Scène par des Llms à Partir d'Openusd pour la Robotique H/F CEA

Rejoignez-nous en Stage !

CEA Tech Corporate from CEA Tech on Vimeo.
En tant que stagiaire au CEA, vous aurez l'opportunité de travailler au sein d'un environnement de recherche de renommée mondiale. Nos équipes sont composées d'experts passionnés et dédiés, offrant un cadre propice à l'apprentissage et à la collaboration. Vous aurez accès à des équipements de pointe et à des ressources de recherche de premier ordre pour mener à bien vos missions.

Description du poste :
Contexte
La compréhension de l'environnement est essentielle pour les systèmes robotiques. Les robots ont besoin d'informations fiables sur les objets, les espaces et leurs relations pour agir efficacement. Les grands modèles de langue (LLM) sont de plus en plus utilisés comme couches d'orchestration en robotique. Leur raisonnement s'améliore lorsqu'ils reçoivent des représentations de scènes structurées et informatives. Des travaux récents ont montré que les LLM bénéficient fortement des 3D Scene Graphs(3DSG). Les 3DSG fournissent une structure explicite et claire de l'environnement (objets, relations, sémantique), que les LLM peuvent exploiter pour réaliser un raisonnement et une planification plus précis. Universal Scene Description (USD) devient également central en robotique et dans les systèmes de jumeaux numériques, car il fournit une représentation riche des scènes 3D. Cependant, dans le contexte des LLM, USD est généralement utilisé uniquement comme texte brut. Sous cette forme, il contient une grande quantité d'informations bas niveau ou peu pertinentes, ce qui rend difficile pour les LLM d'identifier la structure réellement utile de la scène. Cela met en évidence un manque dans la littérature actuelle :Comment transformer ou structurer les descriptions de scènes USD pour que les LLM puissent les exploiter efficacement ?
Objectifs du stage
- Explorer la littérature existante sur les représentations de scènes pour la robotique, en particulier les approches basées sur les 3D Scene Graphs (3DSG), et étudier les méthodes utilisées pour améliorer le raisonnement des LLM sur des données 3D structurées.
- Étudier comment simplifier et organiser les scènes USD pour fournir aux LLM des informations plus claires et plus faciles à utiliser.
- Concevoir et implémenter différents traitements des scènes USD (en supprimant les éléments inutiles, en regroupant les objets importants ou en construisant un graphe de connaissances) et évaluer l'impact de ces transformations sur les performances des LLM à l'aide.
- Développer un agent IA capable de comprendre une scène et d'appeler des outils externes pour récupérer des informations structurées ou interagir avec un système robotique.
- La publication de résultats scientifiques est fortement encouragée.
- Selon l'avancement, le/la stagiaire aura également la possibilité de tester ses travaux sur des plateformes robotiques réelles.

#CEA-List