Thèse Explicabilité et Frugalité des Réseaux Profonds de Restauration d'Images par Entraînement Synthétique H/F

Doctorat_Gouv

Récemment, des procédures ont été mises au point pour entraîner des réseaux de restauration à partir de données entièrement synthétiques, construites à partir de caractéristiques élémentaires des images naturelles telles que l'occlusion, la géométrie, la texture ou la profondeur de champs. Par leur contrôle des propriétés des données d'apprentissage, ces approches permettent d'améliorer la capacité de généralisation des méthodes de restauration, par exemple en tenant compte des procédures d'acquisition, et elles permettent également de mieux comprendre les processus à l'oeuvre dans les méthodes de restauration d'images par apprentissage profond.

Ce projet de thèse propose d'exploiter ces procédures d'apprentissage synthétique pour améliorer l'explicabilité des méthodes de restauration d'images par modèles génératifs profonds, notamment en vue d'un meilleur contrôle de l'aspect visuel du résultat restauré et du développement d'architectures plus légères.

In the context of image inverse problems, such as denoising, deconvolution, and super-resolution,
traditional image priors relied on handcrafted regularity assumptions, including total variation
[13], functional regularity [7], and patch self-similarity [5]. Following the great success of deep
learning for image classification, these priors have been replaced by well chosen deep archi-
tectures and massive image databases [15]. More recently, generative approaches, including
diffusion models and flow matching techniques, have been widely adopted to further enhance
the performance of inverse problem solvers [6].
Within this framework, once the learning phase is completed, restored images are obtained as
a function of the degraded input, the network architecture, the training dataset, and the chosen
loss function. While often achieving impressive empirical performance, this process is only very
scarcely understood and typically involves an extremely large number of parameters, sometimes
reaching billions. Such approaches provide limited guarantees regarding the reliability of their
outputs and may occasionally hallucinate structures.
Recently, procedures have been introduced for training restoration networks entirely from
synthetic data [1, 3], built on simple characteristics of natural images such as occlusion, geometry,
texture or depth. By fully controlling the properties of the learning data, such approaches offer
ways to increase the generalization capacity of restoration methods, e.g. by taking into account
acquisition procedures [1], but also possibly enable one to gain a better understanding of the
restoration procedures.