Thèse Agent Multimodal Intelligent d'Assistance pour des Opérateurs Industriels H/F Doctorat.Gouv.Fr

Établissement : IMT Mines Albi École doctorale : SYSTEMES Laboratoire de recherche : CGI - Centre de Génie Industriel Direction de la thèse : Myriam LAMOLLE ORCID 0000000196527891 Début de la thèse : 2026-10-15 Date limite de candidature : 2026-09-23T23:59:59 Dans les environnements industriels, les opérateurs sont souvent confrontés à des situations de dépannage complexes où l'accès aux manuels utilisateurs et aux systèmes d'assistance est limité, notamment en raison des contraintes physiques (mains occupées, accès limité à un écran).
La reconnaissance vocale (STT) dans ces contextes bruyants reste un défi majeur. Il s'agira donc de faciliter le travail de l'opérateur à l'aide d'un agent vocal intelligent, capable d'exploiter un ensemble de sources de données hétérogènes via une approche RAG (Retrieval-Augmented Generation), et potentiellement GraphRAG, pour fournir une assistance précise et contextuelle, tout en surmontant les difficultés liées à la reconnaissance vocale en milieu industriel dans un contexte multilingue (Français/Anglais/Portugais/Espagnol...). De plus, cet agent doit s'adapter à un environnement évolutif où de nouvelles connaissances doivent être prises en compte et d'autres deviennent obsolètes.
Ce sujet de thèse vise à :
- concevoir un agent intelligent multimodal d'aide au dépannage pour les opérateurs spécialisés dans les chaînes de production d'embouteillage. Cet agent sera en capacité de s'adapter à un environnement bruité et multi-opérateurs ;
- exploiter toutes les sources de données hétérogènes plus ou moins structurées (par exemple, manuels utilisateurs, documentation technique, rapport de production, etc.) via des techniques d'extractions d'information d'IA générative (RAG, GraphRAG, etc.) pour modéliser les connaissances et améliorer la précision des réponses, celles-ci pouvant être guidées par un vocabulaire métier (dictionnaire d'acronymes et de termes spécifiques au domaine de l'embouteillage) ;
- implémenter une interface multimodale robuste, adaptée aux conditions industrielles bruyantes, impliquant le déploiement sur les machines spéciale (edge computing) et permettant une interaction mains libres pour les opérateurs.
- évaluer la solution en condition opérationnelle
Ce travail de thèse s'inscrit dans le cadre d'un laboratoire commun entre le CGI de l'IMT Mines Albi et un partenaire industriel spécialisé dans la conception et l'installation de lignes de machines spéciales (lignes d'embouteillage, de conditionnement, etc.). Chaque installation est adaptée au client final, aux contenants, aux produits (recettes, viscosités, etc.) et aux process de fabrication. Cette singularité de machine quasi-unique constitue le coeur de la difficulté scientifique et opérationnelle.
La reconnaissance vocale (STT) dans ces contextes bruyants reste un défi majeur. Il s'agira donc de faciliter le travail de l'opérateur à l'aide d'un agent vocal intelligent, capable d'exploiter un ensemble de sources de données hétérogènes via une approche RAG (Retrieval-Augmented Generation), et potentiellement GraphRAG, pour fournir une assistance précise et contextuelle, tout en surmontant les difficultés liées à la reconnaissance vocale en milieu industriel dans un contexte multilingue (Français/Anglais/Portugais/Espagnol...). De plus, cet agent doit s'adapter à un environnement évolutif où de nouvelles connaissances doivent être prises en compte et d'autres deviennent obsolètes.
A notre connaissance, il n'existe pas de solution formalisant cette hybridation tout en garantissant une réponse la plus pertinente possible au regard des attentes des techniciens de maintenance et des opérateurs. De plus, la solution à envisager doit permettre de mettre à jour dynamiquement les connaissances (Life Long Learning) grâce aux feed-back des parties prenantes (technicien, opérateur, etc.) et l'intégration de documentation ; et ce, sans oublier les connaissances précédentes (problème du catastrophic forgetting).