Stage Intelligence Artificielle - Optimisation de Modèles de Langage Llm pour l'Embarqué H/F CEA

Les Modèles de Langage Larges (LLMs), tels que ChatGPT, ont conduit à une nouvelle révolution de l'IA avec des applications dans tous les domaines. Cependant, les LLMs sont très gourmands en ressources (énergie, calculs, etc.) et, par conséquent, une importante ligne de recherche se concentre sur l'optimisation de ces modèles. Les chaînes d'outils open-source existantes, telles que LLM Compressor [1] et OpenVINO [2], permettent des optimisations presque automatiques pour compresser les LLMs en versions plus petites, par exemple par quantification (quantization) et élagage (pruning). Cependant, elles ne ciblent que les matériels conventionnels, tels que les GPU. De nouveaux paradigmes matériels, tels que le Calcul en Mémoire (IMC), promettent d'accélérer et de réduire la consommation d'énergie des LLMs [3]. Cependant, l'exécution des LLMs sur ces matériels nécessite des optimisations spécifiques en raison des caractéristiques de ces matériels. Par exemple, ils nécessitent une quantification extrême du modèle (réduction du nombre de bits sur lesquels les données, les poids et les activations sont encodés), car les calculs IMC ont un nombre limité de bits, et l'optimisation de la robustesse du modèle, car les calculs IMC sont sujets aux erreurs.
Ce stage vise à mettre en place une infrastructure logicielle pour mapper, simuler et explorer les performances des LLMs sur le matériel IMC, en partant des chaînes d'outils open-source existantes et en intégrant des fonctionnalités dédiées au matériel IMC, telles que la quantification et les modèles d'erreurs. L'étudiant sera intégré au sein d'une équipe multidisciplinaire d'ingénieurs de recherche, de doctorants, de post-doctorants et de stagiaires, au coeur d'un écosystème de partenaires industriels et académiques dans le domaine de l'IA embarquée. Il/elle aura accès à une infrastructure de supercalculateurs. Il/elle bénéficiera d'une expertise accrue en LLMs, méthodes de compression et matériels efficaces pour l'IA. En s'appuyant sur les outils et les connaissances développés pendant le stage, l'étudiant pourrait se voir offrir l'opportunité de poursuivre un doctorat sur les méthodes de compression pour les LLMs.
[1] https://github.com/vllm-project/llm-compressor [2] https://github.com/openvinotoolkit/openvino [3] Analog Foundation Models, Büchel et al, NeurIPS 2025.