Thèse Évaluation et Optimisation de Small Language Models Slms Domaine-Spécifique pour les Applications RH H/F Doctorat.Gouv.Fr

Établissement : Université de Lorraine École doctorale : IAEM - INFORMATIQUE - AUTOMATIQUE - ELECTRONIQUE - ELECTROTECHNIQUE - MATHEMATIQUES Laboratoire de recherche : LORIA - Laboratoire Lorrain de Recherche en Informatique et ses Applications Direction de la thèse : Jean-Charles LAMIREL ORCID 0000000174611785 Début de la thèse : 2026-10-01 Date limite de candidature : 2027-01-31T23:59:59 Cette thèse porte sur un problème scientifique encore largement ouvert : comment évaluer de manière fiable, puis optimiser conjointement, des modèles de langue compacts (Small Language Models, SLMs) spécialisés dans un domaine où la notion de « bonne réponse » n'est ni factuelle, ni univoque, mais contextuelle, subjective et juridiquement contrainte. Le domaine des ressources humaines (RH), retenu comme terrain d'étude, cumule ces trois propriétés : les réponses attendues dépendent du contexte organisationnel, font l'objet de désaccords légitimes entre experts, et sont encadrées par le droit du travail, le RGPD et l'AI Act européen, qui classe les systèmes d'IA appliqués aux RH parmi les systèmes à haut risque. Alors que le médical, le juridique et la finance disposent de modèles spécialisés et de benchmarks dédiés (Med-PaLM 2, LegalBench, BloombergGPT), le domaine RH ne dispose à ce jour d'aucun cadre d'évaluation scientifiquement fondé. La thèse propose (i) une théorie de la mesure pour les tâches génératives à vérité de référence faible, opérationnalisée dans un benchmark public HR-Eval doté de garanties psychométriques explicites (accord inter-annotateurs, fiabilité des juges LLM, sensibilité aux biais) ; (ii) une formalisation de la spécialisation de SLMs comme problème d'optimisation multi-objectif (qualité métier, équité, coût computationnel), résolu sur le front de Pareto plutôt que par agrégation ad hoc ; et (iii) une méthodologie de constitution de corpus sensibles combinant données réelles anonymisées et données synthétiques, avec quantification du biais introduit par la synthèse. Le cadre industriel CIFRE, fourni par la suite SaaS RH OloSuite, garantit l'accès aux données, la validation écologique des résultats et le transfert des contributions. Le domaine RH cumule trois propriétés qui mettent en échec les méthodes d'évaluation existantes : les réponses attendues sont contextuelles, non factuelles, et juridiquement contraintes (droit du travail, RGPD, AI Act - systèmes RH classés à haut risque). Alors que médecine, droit et finance disposent déjà de modèles spécialisés et de benchmarks dédiés (Med-PaLM 2, LegalBench, BloombergGPT), aucun cadre d'évaluation scientifiquement fondé n'existe pour les RH. Trois verrous structurent le projet : (V1) l'absence de théorie de la mesure pour les tâches génératives à vérité faible, alors que les approches LLM-as-judge actuelles (MT-Bench, G-Eval) présentent des biais documentés et une fiabilité non établie sur les jugements normatifs ; (V2) l'absence de cadre pour arbitrer, lors de la spécialisation par PEFT/compression, entre qualité, équité et préservation de l'alignement de sécurité - un fine-tuning même bénin pouvant éroder cet alignement (Qi et al., 2024) ; (V3) la rareté et la sensibilité des données RH réelles (art. 9 RGPD), qui imposent de quantifier la substituabilité avec des données synthétiques sans amplifier les biais. 1) Construire une théorie de la mesure pour l'évaluation de textes générés en l'absence de vérité de référence univoque, opérationnalisée dans un benchmark public (HR-Eval) doté de garanties psychométriques (accord inter-annotateurs, fiabilité des juges LLM, sensibilité aux biais).

2) Formaliser la spécialisation de SLMs comme un problème d'optimisation multi-objectif (qualité métier, équité, préservation de l'alignement de sécurité, frugalité computationnelle), résolu sur le front de Pareto.
Développer et valider une méthodologie de constitution de corpus RH sensibles combinant données réelles anonymisées et données synthétiques, avec audit quantifié des biais introduits.

3) Déployer et valider en conditions réelles, au sein de la suite OloSuite, un SLM RH souverain, conforme à l'AI Act, à coût d'inférence maîtrisé. Programme structuré en trois années, adossé à cinq hypothèses falsifiables (H1-H5) :

Année 1 - revue systématique, définition d'un schéma d'annotation multi-dimensionnel, campagnes d'annotation avec mesure d'accord inter-annotateurs ( de Cohen, de Krippendorff), constitution du corpus mixte réel/synthétique avec traçabilité de provenance, fine-tuning exploratoire d'un modèle ouvert (Mistral 7B, Phi-3).

Année 2 - consolidation et publication du benchmark HR-Eval, campagne expérimentale systématique sur l'espace des stratégies de spécialisation/compression, caractérisation du front de Pareto qualité/équité/frugalité, comparaison à des LLMs généralistes de référence.

Année 3 - étude contrôlée de la proportion de données synthétiques, sélection d'un point du front de Pareto selon le profil de risque d'OloSuite, validation écologique (A/B test supervisé), rédaction du manuscrit.

Approche quantitative et expérimentale : tests d'hypothèses statistiques, mesures d'accord, optimisation multi-objectif (transposition de l'expertise du co-encadrant en sélection de configurations, Saber et al., 2018), audit de biais sur attributs protégés.