Thèse Coûts Énergétiques de l'Apprentissage H/F

Ecole normale supérieure - PSL

Établissement : Ecole normale supérieure - PSL
École doctorale : Physique en Ile de France
Laboratoire de recherche : Laboratoire de Physique de l'École normale supérieure
Direction de la thèse : Rémi MONASSON ORCID 0000000244590204
Début de la thèse : 2026-10-01
Date limite de candidature : 2026-04-15T23:59:59

Depuis l'avènement de l'ère de l'apprentissage profond, la puissance de calcul nécessaire à l'entraînement des modèles d'IA de pointe est multipliée par environ quatre chaque année [1]. Cette augmentation exponentielle n'est que partiellement compensée par les progrès matériels, ce qui soulève de sérieuses inquiétudes quant à la viabilité de l'IA. Il est donc important de comprendre à la fois comment rendre l'apprentissage plus efficace et, d'un point de vue conceptuel, comment la consommation d'énergie, le temps de calcul et la complexité des tâches sont étroitement liés [2].

L'objectif de cette thèse sera de développer et d'utiliser des concepts et des outils de la physique statistique afin de caractériser et de quantifier la quantité d'énergie nécessaire pour effectuer les calculs visés. L'estimation de la consommation d'énergie tiendra compte de la phase d'apprentissage proprement dite (quel est le coût de l'entraînement d'un réseau neuronal pour qu'il accomplisse une tâche ?), de la phase d'inférence (quel est le coût d'exécution sur de nouvelles données une fois l'apprentissage terminé ?) et des surcoûts liés à la résilience (quel est le surcoût lié à l'entraînement d'un réseau neuronal pour qu'il fonctionne correctement même si la disponibilité énergétique est strictement limitée pendant la phase d'inférence ?).

D'un point de vue conceptuel et technique, deux grands cadres seront suivis. Premièrement, depuis les travaux fondamentaux de Landauer [3] et leur confirmation expérimentale [4], on sait que la thermodynamique impose des limites inférieures fondamentales à l'énergie nécessaire au traitement de l'information. Bien que ces limites n'aient été obtenues jusqu'à présent que pour des opérations élémentaires, comme l'effacement de bits, des tentatives ont récemment été faites pour les étendre à la mémorisation [5]. Notre objectif sera de développer un cadre général fondé sur la thermodynamique stochastique afin de calculer l'énergie minimale nécessaire pour apprendre des tâches standard en apprentissage automatique, telles que la classification, le regroupement, la régression, etc.

Deuxièmement, nous étendrons ce que l'on appelle la « physique statistique de l'apprentissage » [6], en nous appuyant sur des techniques issues des systèmes désordonnés, des matrices aléatoires et des processus stochastiques, en incluant des indicateurs de la consommation d'énergie combinant les coûts liés à l'activité neuronale et aux entrées, ainsi qu'aux mises à jour des poids [7]. Ces travaux théoriques seront validés par des expériences numériques et l'entraînement de réseaux neuronaux sur des données idéalisées et réalistes.

Références:
[1] https://epoch.ai/blog
[2] S. Cocco, R. Monasson, Learning with artificial and natural neural networks: trade-offs in energy consumption and representations, Europhysics News (2025)
[3] R. Landauer, Information is Physical, Physics Today (1991)
[4] A. Bérut et al, Experimental verification of Landauer's principle linking information and thermodynamics, Nature (2012)
[5] S. Rooke et al, Stochastic Thermodynamics of Associative Memory, Arxiv (2025)
[6] A. Engel, C. Van den Broeck, Statistical Mechanics of Learning, Cambridge University Press (2001)
[7] A. Pache, M. van Rossum, Energetically efficient learning in neuronal networks, Current Opinion in Neuroscience (2023)

La thèse se déroulera au sein de l'Equipe 11 'Physique et inférence statistiques pour la biologie' du LPENS. Le sujet de thèse est en parfait adéquation avec une collaboration ANR actuelle avec le groupe de P-Y. Plaçais (ESPCI).