Stage Kv Cache Design For Efficient Transformer Deployment In Edge Systems-Saclay H/F CEA
- Saclay - 91
- Stage
- 6 mois
- Bac +5
- Industrie high-tech • Telecom
À noter sur ce job
Vous avez ces compétences ? Cliquez dessus pour les ajouter rapidement à votre profil !
Les missions du poste
En tant que stagiaire au CEA, vous aurez l'opportunité de travailler au sein d'un environnement de recherche de renommée mondiale. Nos équipes sont composées d'experts passionnés et dédiés, offrant un cadre propice à l'apprentissage et à la collaboration. Vous aurez accès à des équipements de pointe et à des ressources de recherche de premier ordre pour mener à bien vos missions. Éventuellement, les travaux menés donneront lieu à une publication scientifique.
Contexte
Dans le cadre de ses activités sur de conception d'inférence légère pour l'embarqué, le LIAE s'intéresse à l'étude et la faisabilité de l'implémentation de ce type de fonctionnalité. L'idée principale est d'analyser et de quantifier les besoins et les limites pour un déploiement sur des architectures type CPU, GPU ou SoC...
Qu'attendons-nous de vous?
Dans ce contexte, l'objectif de ce stage est de :
· Fournir un état de l'art croisé et étayé à la fois des besoins de LLM choisis judicieusement et des différentes méthodes décrites dans la littérature,
· Développer et valider un modèle fonctionnel léger d'un « KV cache » en langage C++ dans l'outil du laboratoire,
· Mettre en oeuvre le mécanisme dans un modèle LLM retenu.
#Cea List
Le profil recherché
Profil :
Niveau demandé : 3ème année étude ingénieur ou master 2
Compétences : 1ère expérience avec Pytorch et C++, mise en oeuvre d'inférence, des notions sur les architectures matérielles serait un plus
Pièces à fournir : CV + Lettre de motivation + Relevés de notes des 3 dernières années
Les avantages
- Télétravail jusqu’à 3 jours par semaine
- 52 jours de congés/RTT
- Possibilité d’aménagement du temps de travail
- Formation personnalisée
- Restauration d’entreprise
- Offre de transport interne et prise en charge Navigo and co,
- Mutuelle d’entreprise avantageuse
- CE (aides vacances, loisirs, frais de garde, scolarité des enfants etc
Les étapes de recrutement
Les étapes de recrutement peuvent varier selon l'offre à laquelle vous postulez.
-
Dépôt de CV via notre site carrière
-
Préqualification téléphonique
-
Entretiens et évaluation avec manager et RH
-
Négociation salariale et contrat de travail
-
Embauche et intégration
-
CEA en images
Publiée le 05/10/2026 - Réf : 2026-41932
