Stage Innovation Ingénieur Intelligence Artificielle Générative - Système de Transport Intelligent H/F ALTEN

Au sein de notre Lab de Grenoble, vous serez accompagné(e) par un Pilote Innovation (Chef de projet) pour vous permettre de développer vos compétences sur les activités du projet suivant.

Projet : LLMperception - Détection Avancée des Piétons et de leur Intention en situation d'occlusion pour les systèmes ADAS

L'amélioration de la perception des véhicules autonomes dans des environnements complexes constitue un enjeu majeur en vision par ordinateur. Ce projet a pour objectif de tirer parti des modèles de langage de grande taille (LLM) et des approches d'IA Générative pour :
- Détecter les piétons, y compris en situation d'occlusion partielle ou totale (véhicules, mobilier urbain, etc.) ;
- Prédire leur intention de traverser ou non, en s'appuyant sur des signaux visuels et contextuels intégrés via des LLM.

Le projet repose sur l'exploration de différentes approches LLM appliquées à la perception (LLM perception), et la comparaison de leurs performances avec les autres méthodes IA de vision non génératives utilisées dans nos travaux récents (2024-2025).
Vous pourrez exploiter les jeux de données annotés pour l'entraînement, l'inférence et l'évaluation des modèles.

Missions confiées :
- État de l'art des approches LLM et IA Générative en vision par ordinateur, notamment : LLM sensoriels (S-LLM), LLM classiques via prompt engineering, LLM fine-tunés sur des données annotées, LLM intégrés à des systèmes RAG (Retrieval-Augmented Generation)
- Définition d'une architecture de solution combinant :
- Détection de piétons en situation d'occlusion,
- Prédiction de l'intention de traverser/ne pas traverser,
- Implémentation et évaluation comparative des approches suivantes :
- Modèles basés sur LLM (prompt, fine-tuning, RAG),
- Modèles classiques non génératifs de détection et prédiction (CNN, Transformers, LSTM, etc.).
- Analyse des performances selon plusieurs critères :
- Précision de détection sous occlusion,
- Fiabilité de la prédiction d'intention,
- Robustesse aux contextes variés (milieux urbains, luminosité, densité piétonne, méteo,...).