Ingénieur de Recherche pour l'Évaluation Logique de Modèles Prédictifs et Benchmarks de Relational Learning Neurosymbolique H/F

INRIA

Ingénieur(e) de recherche pour l'évaluation logique de modèles prédictifs et benchmarks de relational learning neurosymbolique

Contrat renouvelable : Oui

Niveau de diplôme exigé : Bac +5 ou équivalent

Fonction : Ingénieur scientifique contractuel

A propos du centre ou de la direction fonctionnelle

Le Centre Inria de l'Université Grenoble Alpes, regroupe un peu moins de 450 personnes réparties au sein de 26 équipes de recherche et 9 services support à la recherche.

Son effectif est distribué sur 3 campus à Grenoble, en lien étroit avec les laboratoires et les établissements de recherche et d'enseignement supérieur (Université Grenoble Alpes, CNRS, CEA, INRAE, ...), mais aussi avec les acteurs économiques du territoire.

Présent dans les domaines du calcul et grands systèmes distribués, logiciels sûrs et systèmes embarqués, la modélisation de l'environnement à différentes échelles etla science des données et intelligence artificielle, le Centre Inria de l'Université Grenoble Alpes participe au meilleur niveau à la vie scientifique internationale par les résultats obtenus et les collaborations tant en Europe que dans le reste du monde.

Contexte et atouts du poste

Contexte scientifique

L'évaluation des modèles prédictifs repose classiquement sur des métriques de performance telles que l'exactitude, l'erreur quadratique, l'AUC, le F1-score ou la calibration. Ces métriques permettent de mesurer la qualité statistique des prédictions, mais elles ne suffisent pas toujours à évaluer si un modèle respecte des contraintes logiques, structurelles, réglementaires ou métier. Dans de nombreux domaines sensibles, un modèle peut obtenir de bons scores prédictifs tout en produisant des prédictions incompatibles avec des règles logiques explicites.

Le projet s'inscrit dans le prolongement d'un travail de recherche récent introduisant une métrique de conformité logique des modèles prédictifs, le Rule Violation Score (RVS). Cette métrique vise à quantifier dans quelle mesure les prédictions d'un modèle respectent un ensemble de règles logiques, indépendamment de la performance prédictive standard. Elle permet notamment de distinguer les règles dures, correspondant à des contraintes strictes, et les règles souples, correspondant à des régularités statistiques ou métier.

L'objectif général du poste est de développer un cadre logiciel et expérimental permettant d'évaluer plus largement cette métrique, de l'étendre à de nouveaux benchmarks et de l'appliquer à des modèles de relational learning et de neuro-symbolic AI.

Mission confiée

Mission principale

La personne recrutée aura pour mission de concevoir, implémenter et documenter un cadre d'évaluation pour modèles prédictifs sous contraintes logiques. Ce cadre devra permettre d'évaluer la métrique de conformité logique dans deux configurations complémentaires :

- Évaluation ex-post : le modèle est évalué après apprentissage, à partir de ses prédictions sur un jeu de test ou une base relationnelle donnée, en mesurant les violations des règles logiques connues.

- Évaluation ex-ante : le modèle est évalué sans accès nécessaire aux données d'entraînement, à partir de la description du modèle, de ses sorties possibles, de son schéma relationnel d'entrée et d'un ensemble de règles logiques ou métier.

La mission combinera développement logiciel, expérimentation empirique, structuration de benchmarks, formalisation logique et valorisation scientifique.

Principales activités

Activités principales

1. Extension des benchmarks existants

La personne recrutée contribuera à l'extension des benchmarks utilisés pour évaluer la conformité logique des modèles prédictifs. Les travaux attendus incluent :

- identifier et sélectionner des jeux de données relationnels adaptés à l'évaluation de modèles prédictifs sous contraintes;

- formaliser, pour chaque jeu de données, un ensemble de règles logiques pertinentes : contraintes d'intégrité, règles temporelles, règles métier, règles de cohérence inter-tables, règles de monotonie ou d'exclusion;

- adapter les jeux de données existants afin de produire des tâches prédictives standardisées;

- définir des protocoles d'évaluation reproductibles combinant métriques prédictives classiques et métriques de conformité logique;

- produire des scripts de préparation, documentation et configuration permettant l'ajout de nouveaux benchmarks.

2. Développement d'un cadre d'évaluation ex-post et ex-ante

Le coeur du poste consistera à concevoir un cadre logiciel modulaire permettant d'évaluer la métrique de conformité logique selon plusieurs niveaux d'information disponibles sur le modèle :

- évaluation à partir de prédictions stockées dans une base relationnelle;

- évaluation à partir d'un modèle entraîné accessible comme boîte noire;

- évaluation à partir d'un modèle accessible comme boîte blanche ou partiellement interprétable;

- évaluation à partir d'un schéma relationnel, d'un espace de prédictions et de règles logiques, sans

nécessairement disposer des données d'entraînement;

- génération automatique ou semi-automatique de requêtes d'évaluation, par exemple sous forme SQL,

Datalog ou logique du premier ordre restreinte.

Le cadre devra être conçu pour être extensible à différents types de règles, différents formats de

données et différents modèles prédictifs. Une attention particulière sera portée à la robustesse logicielle,

à la reproductibilité des expériences et à la clarté de l'API.

3. Benchmark pour le relational learning neurosymbolique

Un axe important du poste portera sur la réalisation d'un benchmark d'évaluation pour le relational

learning neurosymbolique, en s'appuyant notamment sur RelBench et sur des bases relationnelles réelles.

Les cas d'étude envisagés incluent :

- des jeux de données de type MIMIC,enrichis par des règles médicales, temporelles ou de cohérence clinique;

- des données de type DVF/DV3F ou données foncières, enrichies par des règles géographiques, fiscales,administratives ou de cohérence transactionnelle ou vis-à-vis de plans locaux d'urbanisme;

- des jeux de données issus de data.gouv.fr, notamment repérés à travers des initiatives comme DGML (DINUM), afin d'explorer des cas d'usage publics, réglementaires ou administratifs;

- des tâches RelBench existantes ou adaptées, complétées par des règles logiques explicites permettant d'évaluer non seulement la performance prédictive, mais aussi la conformité des prédictions.

Ce benchmark devra permettre de comparer plusieurs familles de modèles : modèles tabulaires clas-

siques, modèles relationnels, modèles de graphes, architectures de relational deep learning, approches

neuro-symboliques et méthodes intégrant explicitement des contraintes logiques.

Compétences

Compétences techniques souhaitées

- très bonne maîtrise de Python et de l'écosystème scientifique associé;

- expérience en machine learning supervisé et en évaluation de modèles;

- connaissances en bases de données relationnelles, SQL et modélisation de schémas;

- intérêt pour la logique, les règles de Horn, Datalog, Prolog ou les contraintes symboliques;

- familiarité avec PyTorch, PyTorch Geometric, scikit-learn, pandas ou outils équivalents;

- intérêt pour le relational learning, les graph neural networks, les modèles tabulaires et les approches

neuro-symboliques;

- bonnes pratiques de développement : Git, tests, documentation, environnements reproductibles.

Qualités attendues

- autonomie scientifique et capacité à structurer un problème de recherche;

- rigueur dans la conception de protocoles expérimentaux;

- goût pour le développement logiciel propre, maintenable et documenté;

- capacité à lire et implémenter des articles scientifiques;

- intérêt pour les enjeux de fiabilité, d'auditabilité et de conformité des systèmes d'IA;

- capacité à travailler en interaction avec des chercheurs, ingénieurs et utilisateurs métier.

Avantages

• Restauration subventionnée
• Transports publics remboursés partiellement
• Congés : 7 semaines de congés annuels + 10 jours de RTT (base temps plein) + possibilité d'autorisations d'absence exceptionnelle (ex : enfants malades, déménagement)
• Possibilité de télétravail (90 jours par an flottants) et aménagement du temps de travail
• Prestations sociales, culturelles et sportives (Association de gestion des oeuvres sociales d'Inria)
• Accès à la formation professionnelle
• Participation employeur mutuelle santé et prévoyance (sous conditions)

Rémunération

A partir de 2 692 € brut mensuel selon expérience et diplômes.