Post-Doctorant Étude Conception et Intégration Matérielle de Réseaux Fortement Quantifiés H/F

INRIA

Post-Doctorant F/H Étude, conception et intégration matérielle de réseaux fortement quantifiés

Type de contrat : CDD

Niveau de diplôme exigé : Thèse ou équivalent

Fonction : Post-Doctorant

Niveau d'expérience souhaité : Jeune diplômé

A propos du centre ou de la direction fonctionnelle

Le Centre Inria de l'Université Grenoble Alpes, regroupe un peu moins de 450 personnes réparties au sein de 26 équipes de recherche et 9 services support à la recherche.

Son effectif est distribué sur 3 campus à Grenoble, en lien étroit avec les laboratoires et les établissements de recherche et d'enseignement supérieur (Université Grenoble Alpes, CNRS, CEA, INRAE, ...), mais aussi avec les acteurs économiques du territoire.

Présent dans les domaines du calcul et grands systèmes distribués, logiciels sûrs et systèmes embarqués, la modélisation de l'environnement à différentes échelles etla science des données et intelligence artificielle, le Centre Inria de l'Université Grenoble Alpes participe au meilleur niveau à la vie scientifique internationale par les résultats obtenus et les collaborations tant en Europe que dans le reste du monde.

Contexte et atouts du poste

Contexte :
Les recherches actuelles en efficacité des réseaux de neurones incluent la quantification hétérogène, les représentations des nombres ad-hoc, le stockage des paramètres en matrices creuses, et bien d'autres stratégies aussi bien logicielles que matérielles.
Le matériel possède deux propriétés importantes : l'exploitation du parallélisme à grain fin, et la capacité de traiter des vecteurs de bits de taille quelconque.
C'est sur ces deux propriétés que l'on désire s'appuyer pour d'une part améliorer les performances de la phase d'inférence des réseaux de neurones, et d'autre part démonter la faisabilité d'une implantation sous forme de réseau systolique.

Nous disposons d'outils, aujourd'hui à but de recherche, capables de modéliser et de générer des réseaux de neurones quantifiés pour l'inférence de reseaux de type convolutionnels. Cet environnement est composé d'un outil logiciel (C/C++) et d'un ensemble de composants matériels développés au niveau RTL pour l'implémentation matérielle des couches des réseaux. Il supporte un certain nombre de fonctionnalités pour créer des implémentations personnalisées et optimisées, telles que des quantifications par layer arbitraires, équilibrage des pipelines, certaines formes de personnalisation d'opérateurs, de compression de paramètres, etc.
Les limitations principales de cet outillage est qu'il ne gère actuellement que (a) des réseaux "déroulés", c.-à-d. faisant l'hypothèse que l'ensemble des poids peut être stocké dans les mémoires internes du circuits. Cette hypothèse est mise à mal par les réseaux modernes, dont le nombre de paramètrès est très important, et nous désirons donc nous tourner vers des architectures capables de les supporter, et (b) les réseaux convolutifs, alors qu'il apparait clairement que les architectures de type Transformers (que ce soit pour la vision, le traitement du langage naturel, la génération d'image, code, texte, ...) sont incontournables.

Le projet sur lequel ce post-doctorat s'adosse est un projet académique partenarial de l'instrument "Composants pour l'IA" co-porté par l'agence du numérique et l'agence asic.

Mission confiée

Missions :
Les travaux portent d'une part sur l'étude de l'intégration de neurones fortement quantifiés dans un réseau systolique. Ces réseaux pourront être, dans un premier temps, des CNNs, mais la cible est de pourvoir également supporter les Transformers. A la différence des neurones classiques dans lesquels le calcul prend une place importante, les neurones fortement quantifiés (sub 4 bits) ne nécessitent pas de grosses ressources de calcul. Le ratio calcul/communication est donc différent, et les stratégies à élaborer pour tirer le meilleur parti du matériel restent à définir.

D'autre part, la démonstration de l'intérêt de ces stratégies est à faire, ce qui requiert l'intégration effective au sein d'une infrastructure matérielle. Celle presentie est développée par l'Irisa.

Bien évidemment, toute suggestion sur les choix scientifiques et techniques liés au déploiment à grande échelle de l'inférence est la bien venue.

Collaboration :
En interne, le travail se fera en collaboration avec plusieurs membres de l'équipe, permanents comme doctorants.
Des collaborations externes sont à prévoir avec l'Irisa (Rennes) et le CEA (Grenoble), avec potentiellement des déplacements, en particulier en début et en fin de contrat.

Principales activités

Principales activés :

• amélioration des implémentations bas niveau des couches des réseaux;
• conception et implémentation d'approches d'inférence efficaces en matériel de prochaine génération;
• adaptation et mise en oeuvre dans un réseau systolique;
• intégration matérielle en coopération avec les partenaires;
• participation à l'effort de publication et valorisation de ces travaux.

Activités complémentaires:

• aide à la mise en oeuvre sur FPGA des briques développées;
• création de démos fonctionnelles pour des réseaux d'intérêt (Yolo, Resnets, LLMs, ...).

Compétences

Compétences techniques et niveau requis :

• (System)Verilog, VHDL, bonne à très bonne maîtrise

Langues :

• Anglais (équipe internationale), à l'oral comme à l'écrit

Compétences relationnelles :

• Capacité à communiquer, à argumenter, à convaincre et à se laisser convaincre

Compétences additionnelles appréciées :

• Autonomie, capacité rédactionnelle

Avantages

• Restauration subventionnée
• Transports publics remboursés partiellement
• Congés: 7 semaines de congés annuels + 10 jours de RTT (base temps plein) + possibilité d'autorisations d'absence exceptionnelle (ex : enfants malades, déménagement)
• Possibilité de télétravail et aménagement du temps de travail
• Équipements professionnels à disposition (visioconférence, prêts de matériels informatiques, etc.)
• Prestations sociales, culturelles et sportives (Association de gestion des oeuvres sociales d'Inria)
• Accès à la formation professionnelle
• Participation employeur mutuelle santé et prévoyance (sous conditions)

Rémunération

Rémunération mensuelle : 2788€ brut / mois