Thèse Apprentissage Auto-Supervisé Efficace d'Images Sous-Marines à l'Aide de la Distillation de Jeux de Données H/F

Doctorat.Gouv.Fr

Établissement : Université Paris Cité
École doctorale : Ecole Doctorale d'Informatique, Télécommunications et Electronique
Laboratoire de recherche : Laboratoire d'Informatique Paris Descartes
Direction de la thèse : Laurent WENDLING ORCID 0000000310915995
Début de la thèse : 2026-10-01
Date limite de candidature : 2026-05-01T23:59:59

Les performances des méthodes d'apprentissage profond supervisé en vision par ordinateur sous-marine dépendent fortement de la disponibilité de données étiquetées, dont l'annotation est à la fois chronophage et nécessite des connaissances spécialisées. Pour surmonter cette contrainte, l'apprentissage auto-supervisé (SSL) s'est imposé comme une alternative prometteuse pour relever le défi posé par le manque d'annotations dans les environnements sous-marins. Dans ce paradigme, les modèles apprennent à partir de données sous-marines non étiquetées en générant leurs propres signaux de supervision. Les modèles pré-entraînés ainsi obtenus peuvent ensuite être affinés pour diverses tâches en aval telles que la classification d'images sous-marines, la détection d'objets, la segmentation sémantique, le comptage d'espèces sous-marines, la détection et le suivi de la vie marine, la cartographie des habitats et la surveillance de la biodiversité. Cependant, pour atteindre des performances comparables à celles de l'apprentissage supervisé, il faut souvent disposer d'ensembles de données sous-marines à grande échelle et supporter des coûts de formation élevés, ce qui augmente considérablement les besoins en calcul et en stockage. Cette thèse vise à atténuer ces contraintes en explorant des techniques de distillation des données afin de rendre la formation SSL sur l'imagerie sous-marine plus efficace.

Dataset Distillation (DD) [1] aims to condense a large-scale training dataset into a much smaller synthetic one such that models trained on the distilled data achieve performance comparable to those trained on the original dataset (see figure 1). Most existing DD methods are designed for ecient supervised learning and can be broadly classified into three main categories [2] : (1) Performance Matching, which minimizes the loss on the synthetic dataset by aligning the performance of models trained on real and synthetic data, (2) Parameter Matching, which
trains two neural networks respectively on real and synthetic data and encourages similarity in their parameters and (3) Distribution Matching, which generates synthetic data that closely mimics the distribution of the original dataset. In this thesis, we will focus on the Parameter Matching approach. Building upon the work of Cazenavette et al. [3], the authors of [4] extended this concept to SSL using knowledge distillation [5, 6, 7], particularly employing SSL
methods such as Barlow Twins and SimCLR. In the same vein, this thesis will explore the DINO (self-DIstillation with NO labels, MetaAI) SSL method [8], which naturally produces teacher-student parameter trajectories that can be leveraged for Parameter Matching. Our primary objective is to develop a Physics-Informed Trajectory Matching framework specifically designed for the underwater domain, ensuring that the synthetic data captures the complex
optical degradations (e.g., light absorption and scattering) inherent in marine environments.

See pdf file