Thèse Traduction Fiable de Droit en Code H/F

Institut Polytechnique de Paris Télécom Paris

Les systèmes juridiques font face à une crise de complexité. Pour y répondre, gouvernements et économistes s'appuient de plus en plus sur des jumeaux numériques des systèmes légaux afin d'anticiper l'impact de nouvelles lois (ex. : LexImpact.an.fr) et d'identifier les lacunes réglementaires. Une condition préalable essentielle à ces analyses computationnelles est le Law-as-Code : la traduction des règles en langage naturel en programmes exécutables par machine. Bien que la formalisation manuelle puisse produire un code de haute qualité, elle est coûteuse en temps et difficile à généraliser. Les grands modèles de langage (LLM) ont révolutionné la génération de code, ce qui en fait des candidats naturels pour surmonter le goulot d'étranglement que représente la traduction du droit en code.

L'application directe des LLM à ce problème ouvert soulève plusieurs défis majeurs. D'abord, la traduction du droit en code exige une précision sémantique stricte, mais il n'existe actuellement aucune méthode satisfaisante pour évaluer la qualité du code généré. Ensuite, le processus implique des dépendances au niveau du document, et non des fonctions isolées, et doit s'adapter à divers langages de programmation spécialisés. Enfin, le manque d'interprétabilité des LLM rend leur raisonnement invérifiable, empêchant les experts du domaine de faire confiance aux résultats.

Ce projet propose un système pour traduire les textes juridiques en une Représentation Intermédiaire (IR) formellement définie, délégant l'exécution à un moteur symbolique. Trois objectifs principaux soutiennent cette approche : (1) établir un benchmark complet et rigoureux basé sur l'exécution ; (2) faire progresser les IR et résoudre les dépendances documentaires ; (3) valider le système dans des workflows vérifiables, intégrant l'humain dans la boucle.

Les benchmarks actuels en Law-as-Code sont fragmentés, et les métriques d'évaluation reposent souvent sur des similitudes textuelles superficielles (ex. : BLEU), sans capturer la sémantique ni la logique. Ce projet vise à créer un benchmark unifié en agrégeant des jeux de données comme SARA, Catala, OpenFisca et OpenExempt. Il définira une procédure et une métrique standard basées sur la précision d'exécution : la performance sera mesurée par la capacité du code généré à produire le résultat juridique correct, et non par sa ressemblance avec un code de référence.

Les méthodes existantes de génération de code fonctionnent bien pour des fonctions simples et autonomes, écrites en langages courants. Mais elles peinent avec les textes juridiques, dont les clauses sont interdépendantes à l'échelle de documents entiers et peuvent impliquer des langages de programmation spécifiques. Ce projet abordera ces défis via :

(a) une IR structurée, assez expressive pour la logique juridique mais suffisamment contrainte pour être vérifiable, et gérant les dépendances inter-documents ;
(b) des méthodes pour traduire le texte juridique en IR, utilisant un LLM comme parseur sémantique, avec décodage contraint et fine-tuning ;
(c) un interpréteur capable de mapper l'IR vers un langage cible (ex. : Python, Catala), préservant la sémantique et la traçabilité par rapport au texte source.

Les systèmes Law-as-Code opèrent dans des environnements critiques où « presque correct » est inacceptable. Ce projet dépassera les métriques automatisées en menant des études avec des programmeurs professionnels (ex. : développeurs Catala). La valeur pratique d'un modèle sera évaluée par sa capacité à accélérer le travail des humains et à éviter les erreurs. Des études utilisateurs compareront les candidats générés par le modèle, mesurant lisibilité, auditabilité et gain de temps dans des workflows réalistes. Cela conduira naturellement à un cadre human-in-the-loop. Cette approche combine l'efficacité des LLM et la fiabilité de la supervision humaine, visant une robustesse adaptée au déploiement réel.

Legal systems face a crisis of complexity. To address this, governments and economists increasingly rely on digital twins of legal systems to anticipate the impact of new laws (e.g., LexImpact.an.fr) and identify regulatory gaps [1 ]. A critical prerequisite for computational analyses is Law-as-Code: the translation of natural language rules into machine-executable programs. While manual formalization can yield high-quality code, it is labor-intensive and scales poorly [ 2]. Large Language Models (LLMs) have revolutionized code generation [ 3], making them natural candidate, to overcome the bottleneck of translating law into code. However, they do not yet match the high standard of correctness required for legal systems. This project directly addresses this challenge by developping a robust framework to translate legal text into formally-defined Intermediate Representations (IRs), utilizing a human-in-the-loop workflow to ensure semantic accuracy and executability.
Applying LLMs directly to the Law-as-Code problem presents several core challenges. First,
law-to-code requires strict semantic accuracy, yet there are currently no satisfactory methods to evaluate the quality of the generated code. Standard metrics like BLEU or semantic similarity are insufficient for logic-heavy domains where a single negated clause reverses the legal outcome.
Second, the translation process involves document-level dependencies rather than standard
function-level generation. Legal statutes are rarely self-contained; they reference definitions,
exceptions, and conditions spread across vast codebooks. Existing code generation methods, while effective for small-scale functions [ 4], struggle with these long-form interdependencies [5, 6 ]. Finally, the lack of interpretability in LLM generation makes the reasoning process unverifiable, preventing domain experts from trusting the outputs. In high-stakes environments, such as tax law or social benefits, mostly correct is unacceptable.

(voir PDF)

(voir PDF)