Thèse Détections d'Anomalies Système et Classification avec un Edr Open-Source H/F

Institut Polytechnique de Paris Télécom Paris

Cette thèse vise à améliorer la détection des actions malveillantes des systèmes en développant un module complémentaire open-source pour le système de réponse aux incidents Wazuh (EDR). L'innovation principale repose sur l'utilisation de techniques d'apprentissage automatique (ML), en combinant des réseaux de mémoire à long terme (LSTM) avec l'apprentissage contrastif pour analyser les séquences d'appels système (syscall) à bas niveau, ciblant les techniques d'évasion qui contournent les EDR traditionnels.

Objectifs :

- classification : Implémenter et évaluer des techniques de classification des appels système basées sur LSTM, en utilisant des ensembles de données comme ADFA-LD.
- génération d'attaques : Créer de nouveaux scénarios d'attaques non détectés par Wazuh, en se concentrant sur les techniques d'évasion de défense MITRE ATT&CK.
- intégration et évaluation : Intégrer l'outil de classification dans Wazuh et évaluer son efficacité par rapport aux solutions EDR commerciales.

Résultats attendus :

- un modèle de classification amélioré avec des validations rigoureuses.
- des ressources publiques sur de nouveaux ensembles d'attaques et des règles de détection améliorées.
- une démonstration de performance montrant que Wazuh peut égaler ou surpasser les EDR commerciaux tout en réduisant les faux positifs.

Tous les résultats seront publiés en open-source, visant à aider les petites et moyennes entreprises ainsi que les praticiens médicaux. Un partenariat à long terme avec la DSI de Télécom Paris est également envisagé pour tester la solution.

Machine learning techniques are broadly used in network anomaly detection [WBK+21]
with different training objectives, deep learning architectures and type of anomaly to be detected.
The SUPERVIZ ANR project (PEPR cybersecurity program) explores several techniques to detect
anomalies by identifying deviations from learned patterns [KM24], generalization across unseen environments [TLC24]
and LLMs for firewall rules generation in response to detected attacks [MSO25].
ANR project ANCILE focuses on building for security against zero-days attacks, involving statistical
anomaly detection in network data. AI enhanced IDS are usually trained solely on benign (normal)
network traffic to establish a baseline of expected behavior. FLASH [RAH24] uses an approach based on
Word2Vec (word embeddings) to encode semantic attributes of system entities then classified
using XGBoost [DHA+23]. [ZTY+23] proposes an approach to enhance the robustness of deep
learning models used for behavior sequence anomaly detection in the face of adversarial attacks in system calls.
Detection system assessments are usually test-based for IDS like Snort and Suricata
or focus on detection rules semantics.
For further attack detection, datasets for such studies exist, as the ADFA-L(W)D (Australian Defence Force Academy Linux (Windows) Dataset) that consists of system call sequences collected from Linux (Windows) hosts [CH14], or the more recent CasinoLimit dataset derived from a large-scale pentesting exercise on 114 identical challenges, featuring system and network logs labeled with MITRE ATT&CK techniques [KVTTL+25].
Few studies have evaluated open-source EDR's overall capabilities in detecting cyber threats [AMH23, SGP22] but do not expose its
limits unlike [HR24]. Recent studies have focused on Wazuh's ML enhanced capabilities [CZMG25].
Classification for detection of DDoS attacks and production of a network dataset of labelled attacks have been tackled in [MKZ+23].
as well as malware detection that analyses patterns in Windows system call sequences to identify malicious behaviours dynamically through system call sequences : this method is highly effective at detecting novel malware variants without relying on static, known signatures [HHRK24].

Successfully tackling these challenges necessitates a robust scientific approach that incorporates both theoretical and practical expertise. Our plan is to implement a methodology that is heavily guided by experimental evidence, whether it be for validating initial hypotheses, designing solutions, or evaluating those solutions, which will consistently be tested on actual hardware.