Apprentissage par Renforcement pour l'Évaluation Automatisée du Risque dans les Systèmes en Réseau

Reinforcement Learning-Based Approaches for Automated Security Analysis of Networked Systems

• Auteur / Autrice : Franco Terranova
• Direction : Isabelle Chrisment, Abdelkader Lahmadi
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 17/10/2023
• Etablissement(s) : Université de Lorraine
• Ecole(s) doctorale(s) : IAEM - INFORMATIQUE - AUTOMATIQUE - ELECTRONIQUE - ELECTROTECHNIQUE - MATHEMATIQUES
• Partenaire(s) de recherche : Laboratoire : LORIA - Laboratoire Lorrain de Recherche en Informatique et ses Applications
• Partenaire(s) de recherche : Equipe de recherche : RESIST

Mots clés

Mots clés libres

Apprentissage par Renforcement

Sécurité Automatisée

Systèmes en Réseau

Apprentissage Profond

Reinforcement Learning

Automated Security

Networked Systems

Deep Learning

Résumé

Dans cette thèse, nous proposons d'explorer les méthodes d'apprentissage par renforcement profond (Deep Reinforcement Learning, DRL) pour l'évaluation automatisée de la sécurité d'un environnement cible simulé/émulé sous forme d'un jumeau numérique. Notre approche s'appuie sur des agents DRL pour cartographier automatiquement les chemins d'attaque dans un système simulé ou émulé. Ces agents simulent les comportements des attaquants pour construire des chemins d'attaque complexes et identifier leurs conséquences, voire leurs effets cascade. Le rôle d'un agent DRL attaquant est d'exploiter les vulnérabilités de manière contrôlée pour construire des chemins menant à l'atteinte d'un objectif spécifique. Les applications de test pour notre approche incluent une combinaison de topologies réseau simulées et réelles, utilisées pour évaluer la performance de cette méthode en termes de scénarios d'attaque prédits et de scalabilité. Cette thèse apporte une technique et un prototype d'une solution capable d'automatiser l'évaluation du risque dans des infrastructures critiques en identifiant a priori les chemins d'attaque potentiels. Cette approche s'appuie sur des jumeaux numériques pour valider les résultats dans des environnements assez fidèle à la réalité.

In this PhD, we propose to explore Deep Reinforcement Learning (DRL) methods for automated security assessment of a simulated/emulated target environment in the form of a digital twin. Our approach uses DRL agents to automatically predict attack paths in a simulated or emulated system. These agents simulate the behavior of attackers to build complex attack paths and identify their consequences, or even their cascade effects. The role of an attacking DRL agent is to exploit vulnerabilities in a controlled manner to construct pathways toward achieving a specified goal. The test applications for our approach include a combination of simulated and real network topologies, used to assess the performance of this approach in terms of predicted attack scenarios and its scalability. This thesis provides a technique and a prototype of a solution capable of automating risk assessment in critical infrastructures by identifying potential attack paths a priori. This approach relies on digital twins to validate the results in environments that are fairly faithful to reality.