Stage - Etude de l'Embarquabilité des Réseaux Perceiver Io et Hierarchical Reasoning Model H/F CEA

Rejoignez-nous en Stage !

CEA Tech Corporate from CEA Tech on Vimeo.
En tant que stagiaire au CEA, vous aurez l'opportunité de travailler au sein d'un environnement de recherche de renommée mondiale. Nos équipes sont composées d'experts passionnés et dédiés, offrant un cadre propice à l'apprentissage et à la collaboration. Vous aurez accès à des équipements de pointe et à des ressources de recherche de premier ordre pour mener à bien vos missions.

Description du poste :
Le stage vise à étudier l'embarquabilité des réseaux Perceiver, Perceiver IO et Hierarchical Reasoning Model, par l'utilisation des frameworks AIDGE et Pytorch.
Perceiver
Les modèles de type Transformer ont montré des performances remarquables sur une grande variété de tâches (vision, NLP, audio, etc.), mais ils ont besoin d'un grand nombre de paramètres pour obtenir de bonnes performances. Le Perceiver et son extension Perceiver IO introduisent une architecture universelle d'entrée/sortie capable de traiter des données hétérogènes avec une complexité réduite grâce à l'utilisation d'un espace latent fixe.
Cette propriété en fait un excellent candidat pour les systèmes embarqués, où les ressources (mémoire, puissance de calcul, énergie) sont limitées. Néanmoins, la taille des modèles reste un obstacle pour une exécution temps réel sur des processeurs embarqués comme les ARM Cortex-A ou RISC-V.

Hierarchical Reasoning Model
Le modèle Hierarchical Reasoning Model est une architecture de raisonnement qui décompose les tâches complexes en plusieurs niveaux hiérarchiques. Chaque niveau traite des abstractions différentes : le niveau supérieur définit des objectifs généraux, stratégies et représentations abstraites du problème ; le niveau inférieur réalise les opérations concrètes, exécute les actions et produit les sorties observables (p. ex. mouvements, décisions atomiques). La communication descendante (top-down) sert à guider et restreindre le comportement du niveau inférieur pour rester aligné sur l'objectif global. La communication ascendante (bottom-up) informe le niveau supérieur sur la faisabilité, le progrès, et les conditions locales pour permettre la replanification ou la mise à jour des objectifs.

HRM: https://arxiv.org/abs/2506.21734
Perceiver IO: https://arxiv.org/abs/2107.14795

Ces types de réseau semblent de bons candidats pour des applications embarquées (capacité de Perceiver à projeter les entrées dans un espace latent de taille fixe, faible taille du HRM et du dataset requis). Le stage pourrait étudier la distillation d'un gros HRM vers un petit pour l'embarquer après pruning et quantification.
En fonction des attendus de votre école, les sujets pourront être discutés.