Stage Calibration de Modèles de Moteurs par l'Apprentissage par Renforcement H/F Safran

Au sein de Safran Tech (le centre de R&T du groupe), l'Unité de Recherche Safran AI Research développe de nouveaux outils pour répondre aux grands enjeux en aéronautique.

La surveillance de l'état de santé des systèmes est une tâche essentielle dans l'exploitation des moteurs d'avion. Une approche courante consiste à construire un modèle de moteur (par exemple, un simulateur thermodynamique ou son modèle de substitution) permettant de suivre le comportement d'un système moteur réel. Un des défis est de calibrer le modèle de manière à ce qu'il corresponde le plus fidèlement possible au système réel.
Récemment, la calibration de modèles par l'apprentissage par renforcement (ModCal-RL) [1] suscite un intérêt de la littérature en raison de ses avantages notables : une grande flexibilité pour s'adapter en temps réel aux opérations du système et l'absence de nécessité de règles heuristiques spécifiques au domaine (souvent utilisées dans les méthodes traditionnelles). Malgré des succès remarquables dans plusieurs cas, les implémentations actuelles de ModCal-RL font face toujours à de multiples défis. Premièrement, si le système de moteur change radicalement (par exemple, en présence de capteurs défectueux), un algorithme RL classique ne parvient pas à s'adapter. Deuxièmement, il ne passe pas à l'échelle lorsque le nombre de paramètres à calibrer devient important (par exemple, centaines de paramètres si le modèle à calibrer est un modèle de substitution). Troisièmement, le suivi de l'état de santé des moteurs peut nécessiter l'imposition de certaines contraintes (par exemple, défauts dans un seul module), et un agent RL entraîné avec un certain ensemble de contraintes ne fonctionne pas nécessairement bien avec un autre.
Dans ce stage, nous étudierons une application de RL avec le mélange d'experts (en anglais, RL with Mixture of Experts) à apprendre une politique optimale de calibrage des modèles du moteur ([2]). En particulier, le mélange d'experts (MOE) permet d'assigner différentes parties (appelées « experts ») de l'architecture d'un réseau de neurones à la spécialisation sur différents types d'informations des entrées, tout en évitant une explosion de la taille du réseau.
Le stage se décomposera en quatre parties :
- Etudier la bibliographie de la calibration de modèles du moteur d'avion, de RL (policy gradients, PPO, actor-critic) et de RL avec MOE.
- Définir un cadre de RL & RL-MOE pour calibrer le modèle de type modèle de substitution de moteur.
- Mener des expériences numériques dans différents scénarios de fonctionnement des moteurs et tester RL avec MOE (plusieurs stratégies de routing avec plusieurs architectures).
- Étendre l'utilisation de RL avec MOE
- Tien et al. 2022. Real-time model calibration with deep reinforcement learning. Mech Systems and Signal Processing.
- Mu, Siyuan et al. A comprehensive survey of mixture-of-experts: Algorithms, theory, and applications
- Schulman et al Proximal policy optimization algorithms