Thèse Principes Information-Théoriques de l'IA à Grande Échelle H/F

Institut Polytechnique de Paris École nationale de la statistique et de l'administration économique

Établissement : Institut Polytechnique de Paris École nationale de la statistique et de l'administration économique
École doctorale : Mathématiques Hadamard
Laboratoire de recherche : CREST - Centre de recherche en économie et statistique
Direction de la thèse : Azadeh KHALEGHI ORCID 0000000186435416
Début de la thèse : 2026-10-01
Date limite de candidature : 2026-04-30T23:59:59

L'objectif de ce projet est de répondre à un défi central de l'intelligence artificielle moderne : la dépendance croissante aux modèles de fondation, et en particulier aux architectures de type transformeur, pour atteindre des performances de pointe en langage, vision et multimodalité. Ces avancées s'accompagnent toutefois de coûts computationnels, financiers et environnementaux extrêmement élevés, soulevant des questions fondamentales de scalabilité, d'accessibilité et de soutenabilité. Alors que les progrès récents reposent principalement sur des optimisations d'ingénierie, il existe un besoin urgent d'un cadre théorique mathématiquement fondé permettant de comprendre et de maîtriser la manière dont l'information, la mémoire et les dépendances sont traitées dans ces modèles. Ces constats suggèrent que le principal goulot d'étranglement de la scalabilité des systèmes d'IA modernes est désormais de nature informationnelle et statistique, plutôt que purement computationnelle.

Ce projet vise à établir un cadre information-théorique pour l'IA moderne, en prenant les modèles de fondation basés sur les transformeurs comme instance canonique, et en les considérant comme des systèmes de traitement de l'information soumis à des contraintes fondamentales de mémoire et de dépendance à long terme. L'objectif central est d'analyser comment des mécanismes tels que l'attention, la longueur de contexte et la compression façonnent conjointement la rétention, la propagation et la réutilisation de l'information sur de longues séquences. En s'appuyant sur des outils issus de la théorie de l'information et de l'apprentissage avec dépendance, le projet développe des méthodes mathématiquement fondées permettant de contrôler les structures de dépendance à long terme et la croissance des représentations, tout en préservant des garanties de performance. Cette approche propose ainsi de nouveaux fondements pour comprendre la scalabilité et l'efficacité des systèmes d'IA modernes.

Foundation Models are rapidly approaching practical limits beyond computation, as evidenced by growing context windows, heuristic compression, and ad hoc memory mechanisms. Beyond computational cost, current foundation models face fundamental limitations related to memory, long-range dependence, and information flow, which increasingly constrain scalability and predictive performance. At the same time, recent advances in learning with dependence, information theory, and sequential decision-making provide the mathematical tools needed to address these challenges in a principled way. This convergence makes it both timely and necessary to develop an information-theoretic foundation for scalable prediction in modern AI systems.

Vide

The project will rely on tools from information theory and coding theory, nonparametric statistics, learning with dependence, and sequential prediction.