Phd 'Adaptive Compact Language Models For Private Embedded Ai' H/F Orange

Les grands modèles de langage actuels, bien que performants, sont trop gourmands en ressources pour une utilisation locale à la fois personnalisée et respectueuse de la vie privée ou de contraintes sur les données manipulées
Des modèles de langage compacts, dits aussi Small Language Models sont apparus et peuvent eux fonctionner sur PC ou Mobiles. Depuis 2025 leurs performances se sont nettement accrues (sortie de SLM tels que Qwen 3.5, Gemma 4, Phi 4, Ministral 3...) [1- 5], mais ces modèles, comme les LLM, ne peuvent pas apprendre après déploiement.
L'objectif est de proposer de nouvelles techniques efficaces qui permettent un apprentissage continu et une personnalisation dynamique et respectueuse de la vie privée sur des SLM.
Cet objectif devra aussi être validé par des prototypages applications concrètes, en ouvrant la voie à une IA embarquée personnalisée, performante et totalement autonome.
Objectif scientifique - résultats et verrous à lever :
Etudier et concevoir des mécanismes d'apprentissage permettant à un modèle de langage de capacité bornée (tel qu'un SLM) de maintenir des invariants internes - c'est-à-dire principalement de préserver le noyau de ses compétences acquises (linguistique, factuelles, schéma de raisonnement ou d'interaction) sans subir d'oubli catastrophique - tout en intégrant progressivement de nouvelles informations issues d'un environnement non stationnaire, principalement liées à des besoins de personnalisation et d'adaptation.
Verrous/défis principaux :
· Apprentissage continu efficace, malgré les fortes contraintes de calcul et de mémoire des dispositifs embarqués
· Prévention du " Catastrophic Forgetting ", tout en maintenant des performances d'apprentissage de la nouveauté
· Adaptation locale robuste sans dérive comportementale ni perte de fiabilité, face à des données bruitées
Réf
1. WANG, Fali, ZHANG, Zhiwei, ZHANG, Xianren, et al. A comprehensive survey of small language models in the era of large language models:. ACM Transactions on Intelligent Systems and Technology, 2024.
2. SHI, Haizhou, XU, Zihao, WANG, Hengyi, et al. Continual learning of large language models: A comprehensive survey. ACM Computing Surveys, 2024.
3. GU, Albert et DAO, Tri. Mamba: Linear-time sequence modeling with selective state spaces. In : First conference on language modeling. 2024.