Clustering pour l'Extraction d'Automate à Partir de Réseaux de Neurones Récurents H/F CEA

Contexte
Avec les récents développements en matière d'IA, son utilisation est de plus en plus répandue et soulève de plus en plus de questions quant à sa robustesse, son respect de la vie privée ou autre. Un certain nombre de travaux ont émergés pour augmenter la confiance dans les IAs en se basant sur des méthodes formelles pour obtenir des garanties mathématiques de leur sûreté.
Pour les réseaux de neurones récurents, l'application de méthodes telles que l'interprétation abstraite pour vérifier cette sûreté est difficile à cause de leur reccurence. Apprendre un automate fidèle comme un modèle de substitution permet de réduire la complexité du modèle et de facilité sa vérification. Cet apprentissage dépend fortement de méthodes de clustering pour regrouper les états cachés du RNN. En rapprochant les états de même sémantique, il est possible de construire un automate reproduisant les trajctoires du RNN.
Stage
Les méthodes actuelles de clustering pour l'apprentissage passif d'automates se base principalement sur l'utilisation de K-means à partir de traces d'exécution du RNN. Cette méthode est cependant limitée lorsqu'appliquée sur des données complexes et de haute dimension. Cela impacte alors la taille (nombre d'états) et la fidélité de l'automate extrait.
L'objectif principal de ce stage est d'étudier et d'implémenter différents algorithmes de clustering pour l'extraction d'automate à partir de RNN. Il se compose de 3 étapes:
Familiarisation avec apprentissage d'automates depuis des RNNs et état de l'art des méthodes de clustering
Implémentation et comparaison des algorithmes sur des benchmarks prédéfinis.
Si le temps le permet, conception d'une nouvelle méthode de clustering plus adaptée et/ou application des automates appris pour l'interprétabilité et l'explicabilité des RNNs.
Depending on the quality of the work carried out, a scientific publication can be expected by the end of the internship.