Doctorant dans le Cadre du Projet Anr Vite H/F CNRS

La mission principale du doctorant consistera à développer, adapter et évaluer des **méthodes d'estimation de l'influence des échantillons** dans le contexte spécifique de Pl@ntNet, une plateforme dédiée à l'identification automatisée des plantes. Cette mission s'articulera autour des axes suivants :
1. Étude et adaptation des fonctions d'influence**
Le doctorant devra approfondir les **fonctions d'influence**, outils théoriques permettant de quantifier l'impact d'un échantillon sur un modèle d'apprentissage. Ces fonctions, définies à partir de la dérivée des paramètres ou de la fonction de perte par rapport à une perturbation infinitésimale du jeu de données, offrent un cadre rigoureux pour :
- **Identifier les échantillons les plus informatifs** parmi les prédictions d'un réseau de neurones profond (DNN), en vue d'améliorer l'interface utilisateur de Pl@ntNet. Actuellement, les images proposées aux utilisateurs sont sélectionnées selon une distance $\ell\_2$ dans l'espace des caractéristiques. L'objectif sera de remplacer cette approche par une sélection basée sur l'influence, afin de faciliter l'identification des espèces et d'enrichir l'expérience utilisateur.
- **Détecter les erreurs d'étiquetage** dans les bases de données validées ou étiquetées par les utilisateurs, en exploitant la mesure $I\_{loss}(z\_i, z\_i)$, qui estime l'erreur induite par la suppression d'un échantillon $z\_i$ de l'ensemble d'entraînement.
- **Prioriser l'annotation des images non étiquetées**, notamment pour les espèces rares, en identifiant les échantillons dont l'ajout ou la correction aurait le plus fort impact sur la performance du modèle.

Le doctorant explorera également des **variantes avancées** des fonctions d'influence, comme l'objectif de Bregman proximal (PBO), qui permet de s'affranchir de l'hypothèse d'optimalité du modèle et d'évaluer l'influence à différents stades de l'optimisation.

2. Résolution des défis computationnels**
L'application des fonctions d'influence aux réseaux de neurones profonds se heurte à des **contraintes calculatoires**, notamment en raison de la taille prohibitive de la matrice hessienne $H\_{\hat{\theta}}$. Pour y remédier, le doctorant étudiera et implémentera des **méthodes d'approximation** :
- L'utilisation de la **matrice d'information de Fisher** comme substitut à la hessienne, en s'appuyant sur des travaux récents comme ceux de @george2018fast.
- L'adoption de l'**EK-FAC (Eigenvalue-corrected Kronecker-Factored Approximate Curvature)**, une méthode efficace pour estimer la courbure de la fonction de perte, comme proposé par @grosse2023studying.
- L'exploration d'**outils d'optimisation d'ordre zéro**, tels que les extensions du lemme de Stein ou des méthodes basées sur la formule de Stokes, pour estimer la hessienne d'une fonction proxy (version lissée du réseau) en un seul passage avant (*forward pass*), comme suggéré par @balasubramanian2022zeroth.
- La combinaison de ces approches avec des techniques de **gradient naturel**, afin d'améliorer la précision et l'efficacité des estimations.

3. Prise en compte des biais d'optimisation**
Les fonctions d'influence classiques reposent sur l'hypothèse de stationnarité de la solution optimale. Or, les algorithmes de type SGD (Stochastic Gradient Descent) convergent souvent vers des points stationnaires spécifiques, influencés par des **phénomènes de biais implicite** (@chizat2020implicit, @vardi2023implicit). Le doctorant devra donc :
- **Étendre les notions d'influence** pour intégrer les propriétés dynamiques de l'algorithme d'optimisation utilisé, afin de refléter plus fidèlement l'impact réel des échantillons sur le modèle final.
- **Adapter les méthodes** pour tenir compte des spécificités de Pl@ntNet, comme la rareté de certaines espèces ou la structure hiérarchique des données.
4. Intégration et validation pratique
Enfin, le doctorant collaborera avec l'équipe Pl@ntNet pour :
Intégrer les méthodes développées dans la chaîne de traitement existante, notamment via la plateforme ThePlantGame, afin d'améliorer la qualité des annotations et l'efficacité des modèles.
Évaluer les performances des approches proposées dans des scénarios réels, en mesurant leur impact sur la précision des modèles, la détection d'erreurs et l'expérience utilisateur.
Contexte de travail
Objectif principal du projet :
Identifier les échantillons les plus influents dans un jeu de données, notamment pour Pl@ntNet, une application d'identification de plantes.
Exemples d'applications :
1. **Amélioration de l'interface utilisateur** : Actuellement, pour chaque requête, l'utilisateur voit les espèces les plus probables (5 candidates) et, parmi elles, les 5 échantillons les plus probables. L'enjeu est de proposer les échantillons les plus **informatifs** (pas seulement les plus probables) pour faciliter l'identification et améliorer l'expérience utilisateur.
2. **Amélioration théorique du modèle** : Comprendre l'influence d'un échantillon permet de détecter des erreurs d'étiquetage ou de prioriser l'étiquetage d'images non labellisées, optimisant ainsi l'algorithme d'apprentissage et la qualité du service.

Le doctorant réalisera ses travaux à l'IMAG (UMR de Mathématiques ) et au sein de l'équipe IROKO/INRIA, à Montpellier.