Thèse Modèles d'Apprentissage Robustes et Quantification de l'Incertitude pour la Vision par Ordinateur en Agriculture Face aux Changements de Contexte H/F

Doctorat.Gouv.Fr

Établissement : Université de Bordeaux
École doctorale : Sciences Physiques et de l'Ingénieur
Laboratoire de recherche : Laboratoire de l'Intégration du Matériau au Système
Direction de la thèse : Lionel BOMBRUN ORCID 0000000190363988
Début de la thèse : 2026-10-01
Date limite de candidature : 2026-05-15T23:59:59

Le secteur agricole est aujourd'hui confronté à des défis majeurs liés à l'évolution démographique, au changement climatique, à la pression environnementale, à la transformation des modes de consommation et à l'exigence croissante de compétitivité. Dans ce contexte, les technologies numériques telles que la proxidétection et la télédétection, les capteurs embarqués, le traitement du signal et des images, l'intelligence artificielle et la robotique constituent des leviers essentiels pour accompagner la transition vers une agriculture plus durable et résiliente. Ces dernières années, l'essor des méthodes d'apprentissage profond, favorisé par la disponibilité de grandes bases de données et par l'augmentation des capacités de calcul, a profondément transformé la vision par ordinateur. Les réseaux de neurones convolutifs, enrichis par des mécanismes d'attention ou des architectures de type Vision Transformer, se sont imposés comme des standards pour de nombreuses tâches de reconnaissance visuelle. Toutefois, de nombreuses études ont mis en évidence leurs limites en conditions réelles d'utilisation, notamment lorsque le contexte d'application diffère de celui des données d'apprentissage. Cette situation est particulièrement critique en agriculture, où les variations agro-pédo-climatiques, géographiques ou culturales peuvent entraîner des prédictions erronées, parfois associées à une confiance artificiellement élevée du modèle. Ce manque de robustesse s'explique à la fois par les choix d'architecture et d'apprentissage des réseaux neuronaux, mais également par le caractère partiel et non exhaustif des bases de données disponibles. L'un des axes de recherche pour répondre à ces limites consiste à intégrer des informations contextuelles telles que la localisation, les conditions météorologiques ou les caractéristiques du sol dans le processus d'apprentissage. Différentes stratégies de fusion, précoces ou tardives, ont été proposées, ainsi que des approches plus récentes visant à décorréler les représentations apprises vis-à-vis de ces métadonnées. Néanmoins, ces méthodes reposent souvent sur des hypothèses statistiques fortes qui peuvent être mises en défaut dans des contextes agricoles complexes et hétérogènes. Un second enjeu fondamental concerne la quantification de l'incertitude et la calibration des prédictions. Les modèles de deep learning produisent généralement des scores de confiance mal calibrés, sans garantie statistique sur la fiabilité des décisions. Dans ce cadre, la prédiction conforme offre un formalisme théorique permettant d'associer à chaque prédiction un ensemble de sortie garantissant un taux d'erreur contrôlé. Si ces méthodes assurent des garanties marginales, elles restent limitées lorsqu'il s'agit de fournir des performances homogènes sur des sous-groupes de données correspondant à des contextes distincts, notamment lorsque les métadonnées ne sont pas disponibles au moment de l'inférence. Enfin, des approches complémentaires, telles que la Test-Time Augmentation, exploitent la diversité des transformations possibles des observations lors de l'inférence afin d'estimer la variabilité des prédictions et de renforcer la fiabilité des décisions sans nécessiter de réentraînement du modèle.
Dans ce contexte, l'objectif principal de cette thèse est de développer des méthodes de deep learning robustes et fiables pour la vision par ordinateur appliquée à l'agriculture, capables de s'adapter aux variations de contexte agro-pédo-climatique. Les contributions porteront sur l'intégration efficace des métadonnées dans l'apprentissage, le développement de méthodes de prédiction conforme adaptées aux données agricoles hétérogènes, l'exploitation de la diversité des observations à l'inférence, ainsi qu'une approche intégrée combinant ces différents leviers. Les méthodes proposées seront validées sur des jeux de données réels issus d'applications agri-environnementales, notamment en viticulture et en agriculture de précision.

Le secteur agricole fait actuellement face à de nombreux défis et à des changements structurels accentués par la démographie, le changement climatique, l'impact environnemental, les modes de consommation, la compétitivité, etc. Pour y faire face, les technologies du numérique (la proxidétection/télédétection, les capteurs, le traitement du signal et des images, l'intelligence artificielle, la robotique...), se présentent comme un des principaux leviers. Ces dernières années, la possibilité d'acquérir de grandes bases de données, les capacités de calcul accrues ainsi que des avancées théoriques clés ont permis l'essor de nouvelles méthodes d'apprentissage basées sur les réseaux de neurones profonds. En particulier, les réseaux de neurones convolutifs (CNN), éventuellement combinés à des mécanismes d'attention [Vaswani et al. 2017] ou à des architectures de type Vision Transformer (ViT), sont devenus un standard pour de nombreuses tâches de reconnaissance en vision par ordinateur. Néanmoins, plusieurs études ont montré que ces réseaux ne sont pas infaillibles notamment lorsque le contexte change entre la base d'entraînement et la base de test (distribution shift). C'est par exemple le cas lorsque l'on apprend un modèle sur des données acquises dans des parcelles agricoles d'une zone géographique et que ce même modèle est appliqué sur d'autres parcelles ayant leur propre contexte agro-pédo-climatique. Dans de telles situations, la prédiction réalisée par un modèle de deep learning peut être erronée alors même qu'il peut accorder une forte confiance à cette prédiction. Si le manque de robustesse dans les décisions réalisées par des réseaux neuronaux est en partie inhérent à leur structure et aux méthodes d'apprentissage mises en oeuvre, il est également explicable par les caractéristiques des bases de données utilisées et par leur manque d'exhaustivité.
Pour répondre à ces enjeux, une première stratégie consiste à intégrer des informations contextuelles ou auxiliaires (métadonnées) dans le processus d'apprentissage. Ces métadonnées telles que la localisation géographique, les conditions climatiques ou les caractéristiques du sol permettent d'enrichir la représentation de la scène observée. Plusieurs stratégies de fusion sont envisageables telles que la fusion précoce où les métadonnées sont concaténées aux descripteurs d'entrée du réseau, ou la fusion tardive où elles interviennent au niveau des couches de décision [Gadzicki et al. 2020]. Des approches récentes, comme la Metadata Normalization (MDN) [Lu et al. 2021] ou la Batch Normalization with Regularization (RegBN), visent à extraire des descripteurs décorrélés de ces métadonnées. Toutefois, ces méthodes reposent souvent sur des hypothèses de normalité qui peuvent ne pas être vérifiées en pratique.
Un second axe de recherche concerne la quantification de l'incertitude et la calibration des prédictions. Les modèles de deep learning tendent à produire des scores de confiance surestimés, sans garantie statistique sur la fiabilité de leurs décisions. Pour y remédier, la prédiction conforme (Conformal Prediction) [Vovk et al. 2005] propose un cadre théorique pour associer à chaque prédiction un ensemble de sortie garantissant un taux d'erreur contrôlé. Sa mise en oeuvre repose sur la définition d'un score de non-conformité où différentes propositions ont été faites dans la littérature : Hinge loss (IP), Margin score (MS), Adaptive Prediction Set (APS), Regularized APS (RAPS), Penalized Inverse Probability (PIP) ou encore Regularized PIP (RePIP) [Melki et al. 2024]. Ces approches assurent des garanties marginales mais peinent à garantir des performances homogènes sur des sous-groupes de données présentant des conditions distinctes. Pour pallier cela, des extensions dites Mondrian Conformal Prediction ont été proposées, cherchant à garantir les performances par groupe, souvent définies à partir des métadonnées. Cependant, ces méthodes supposent la disponibilité des métadonnées au moment de l'inférence, ce qui n'est pas toujours le cas en pratique.
Enfin, des approches complémentaires comme la Test-Time Augmentation [Shanmugam et al. 2021] exploitent la diversité des transformations possibles (changement d'échelle, de contraste, etc.) sur les images lors de l'inférence. En estimant la variabilité des prédictions, ces stratégies permettent de renforcer la confiance associée à la décision sans nécessiter de réentraînement complet du modèle.

L'objectif principal de cette thèse est de développer des méthodes de deep learning robustes pour la vision par ordinateur appliquée à l'agriculture, capables de s'adapter aux variations de contexte agro-pédo-climatique. L'enjeu est de concevoir des modèles d'IA de confiance, capables d'aider à la prise de décision dans des conditions réelles, tout en tenant compte de la variabilité et de la complexité des environnements agricoles.
Pour atteindre cet objectif principal, plusieurs objectifs intermédiaires sont définis :
O.1.Prise en compte des métadonnées lors de l'apprentissage du modèle
Le premier objectif intermédiaire est de développer des modèles de deep learning permettant d'intégrer des informations décrivant le contexte agro-pédo-climatique (comme le type de culture/de cépage, le mode de conduite agronomique, les caractéristiques du sol, les conditions météorologiques lors de l'acquisition, etc.) afin de renforcer leur robustesse face aux changements de contexte et de mieux généraliser sur des données nouvelles.
O.2.Quantification de l'incertitude via les prédictions conformes
Le second objectif est de développer des méthodes de prédictions conformes permettant de fournir des ensembles de prédiction valides, c'est-à-dire qu'au moins une proportion 1- de ces ensembles contiennent la vraie classe, où représente le niveau de risque fixé en amont par l'utilisateur. Ces méthodes visent à apporter des garanties statistiques sur les prédictions des modèles tout en s'adaptant au contexte agro-pédo-climatique des données de test.
O.3.Exploitation de la diversité des observations à l'inférence
Le troisième objectif consiste à développer des stratégies de quantification d'incertitude permettant de tirer parti des techniques d'augmentation de données au moment de l'inférence (Test-Time Augmentation) pour exploiter la variabilité des observations. Cette approche ensembliste permettra de définir des ensembles de prédiction qui s'adaptent aux données de test.

O.4.Approche intégrée combinant les contributions des objectifs O.1 à O.3
Le quatrième objectif consiste à proposer une version intégrative des contributions méthodologiques proposées dans les objectifs O.1 à O.3. Cela permettra d'évaluer à la fois la robustesse, la quantification des incertitudes et la valeur explicative des modèles développés, tout en contribuant à une meilleure compréhension du lien entre conditions d'acquisition et fiabilité des décisions des modèles d'IA.