Thèse Méthodes à Noyau Efficaces avec Attributs Binaires H/F

Doctorat.Gouv.Fr

Établissement : Université Grenoble Alpes École doctorale : EEATS - Electronique, Electrotechnique, Automatique, Traitement du Signal Laboratoire de recherche : Grenoble Images Parole Signal Automatique Direction de la thèse : Simon BARTHELME Début de la thèse : 2026-10-01 Date limite de candidature : 2026-05-31T23:59:59 L'apprentissage automatique est entré dans une période caractérisée par un changement d'échelle sans précédent. Les modèles modernes d'apprentissage profond comportent des milliards de paramètres, et sont entraînés sur des jeux de données colossaux. Si ce changement d'échelle a permis des avancées remarquables d'un point de vue empirique, les systèmes de calcul actuels touchent à leurs limites, notamment en termes de mémoire et de consommation énergétique, incitant au développement de représentations plus compactes des données. Dans ce contexte, les représentations binaires et, plus généralement, de faible précision constituent une voie prometteuse, car elles permettent de réduire les coûts de stockage d'un à deux ordres de grandeur, tout en permettant l'utilisation d'opérations matérielles efficaces (arithmétique binaire).

Au-delà des modèles d'apprentissage profond paramétriques, nous soutenons que l'utilisation de telles représentations pour l'approximation de modèles non paramétriques à noyau est particulièrement pertinente : ces approches ont une complexité élevée et pourraient donc grandement bénéficier d'approximations basées sur des représentations binaires, tout en offrant une grande flexibilité (permettant notamment de travailler sur des espaces non euclidiens), tout en s'inscrivant dans un cadre théorique riche permettant leur analyse. On peut ainsi espérer introduire des représentations binaires ou de faible précision dans ce contexte sans sacrifier les garanties théoriques existantes. De plus, l'étude de représentations à faible précision dans le cadre non paramétriques pourrait fournir de nouveaux outils conceptuels et algorithmiques pour mieux comprendre et approximer les réseaux de neurones eux-mêmes.

L'objectif de ce sujet est d'explorer le potentiel des descripteurs aléatoires construits à l'aide de fonctions de hachage et de mécanismes de quantification, afin de développer des algorithmes économes en ressources pour l'apprentissage automatique non paramétrique et l'inférence statistique. Malgré une littérature abondante sur les approximations de rang faible des méthodes à noyau, très peu de travaux ont envisagé l'utilisation d'approximations fondées sur des plongements binaires, et en particulier pas dans un contexte d'apprentissage automatique. Nous développerons de nouveaux algorithmes combinant de telles approximations avec des procédures d'optimisation itératives, et établirons des garanties d'apprentissage statistique pour les algorithmes proposés. L'extension de ces idées à des problèmes d'apprentissage sur des espaces structurés sera également étudiée.
Ce projet s'inscrit dans une ligne de recherche sur les méthodes à noyau modernes, poursuivie par Antoine Chatalic et Simon Barthelmé, avec des applications par exemple à l'intégration ou aux tests.