De l’organisation d’un système multi-agent de cyberdéfense

On the organisation of a multi-agent cyber defence system

• Auteur / Autrice : Julien Soule
• Direction : Jean-Paul Jamont, Michel Occello
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le ; Soutenance le 17/11/2025
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale mathématiques, sciences et technologies de l'information, informatique
• Partenaire(s) de recherche : Laboratoire : Laboratoire de conception et d'intégration des systèmes
• Partenaire(s) de recherche : Equipe de recherche : CO4SYS
• Jury : Président / Présidente : Aurelie Beynier
• Jury : Examinateurs / Examinatrices : Jean-paul Jamont, Michel Occello, Laurent Vercouter, Laeticia Matignon, Gauthier Picard, Oum-el-kheir Aktouf, Flavien Balbo
• Jury : Rapporteurs / Rapporteuses : Laurent Vercouter, Gauthier Picard

Mots clés

Mots clés libres

Architecture d'agent

Auto-Organisation

Cyberdéfense

Systèmes Multi-Agents

Apprentissage par Renforcement Multi-Agent

Agent architecture

Self-organization

Cyberdefense

Multi-Agent System

Multi-Agent Reinforcement Learning

Résumé

Face à la complexité croissante des menaces en Cybersécurité, les approches centralisées montrent leurs limites pour protéger efficacement des systèmes distribués et dynamiques. Cette thèse explore une approche distribuée fondée sur des SMA, capables de détecter, répondre et s'adapter collectivement à des attaques autonomes et évolutives. L'objectif central est de guider la conception organisationnelle d'un SMA pour la cyberdéfense. Les approches actuelles montrent un compromis difficile entre contrôle (avec les modèles symboliques) et performance (avec les approches par apprentissage). Pour dépasser cette tension, la thèse propose une méthode hybride combinant un modèle organisationnel symbolique et MARL. La clé de cette méthode consiste à reformuler la conception d'un SMA comme un problème d'optimisation sous contraintes, dans lequel la politique conjointe des agents est apprise tout en respectant des contraintes organisationnelles exprimant les exigences du concepteur. Cette approche requiert à la fois une modélisation fidèle de l'environnement et une capacité à analyser et contrôler les comportements obtenus. La méthode s'organise en quatre phases : (i) modélisation de l'environnement cible à l'aide de techniques de type World Models, pour obtenir une version simulée utilisable à l'entraînement ; (ii) entraînement des agents via MARL, avec intégration de contraintes issues du modèle organisationnel MOISE+ ; (iii) analyse des politiques apprises, en extrayant rôles et objectifs implicites via des méthodes non supervisées sur les trajectoires ; (iv) transfert des résultats dans l'environnement réel, avec mise à jour continue des modèles et politiques à partir des données collectées sur le terrain. Un outil logiciel, a été développé pour mettre en œuvre cette méthode, et appliqué à trois cas d'usage : un essaim de drones, une infrastructure d'entreprise et une architecture de micro-services. Les résultats montrent une amélioration en termes de résilience, d'adaptabilité et d'autonomie par rapport aux approches centralisées. Enfin, la thèse ouvre plusieurs pistes de recherche, notamment pour améliorer la modélisation de l'environnement avec des connaissances expertes, renforcer la robustesse de l'apprentissage dans des environnements dynamiques, et automatiser l'analyse organisationnelle à l'aide de représentations latentes.

Faced with the growing complexity of cybersecurity threats, centralized approaches are proving inadequate to effectively protect distributed and dynamic systems. This thesis explores a distributed approach based on MAS, capable of collectively detecting, responding to, and adapting to autonomous and evolving attacks. The central objective is to guide the organizational design of a MAS for cyber defense. Current approaches reveal a difficult trade-off between control (with symbolic models) and performance (with learning-based methods). To overcome this tension, the thesis proposes a hybrid method combining a symbolic organizational model with MARL. The core idea of the method is to frame the design of a MAS as a constrained optimization problem, in which the agents' joint policy is learned while satisfying organizational constraints expressing the designer's requirements. This approach requires both a faithful simulation of the deployment environment and the ability to analyze and control the resulting behaviors. The method is structured into four phases: (i) modeling the target environment using World Models techniques to obtain a simulated version usable for training; (ii) training agents through MARL, incorporating constraints from the organizational model MOISE+; (iii) analyzing the learned policies by extracting implicit roles and objectives through unsupervised trajectory-based methods; (iv) transferring the results into the real environment, with continuous updates of both the model and the deployed policies using real-world data. A software tool, was developed to implement this method and applied to three use cases: a drone swarm, an enterprise infrastructure, and a microservices architecture. Results show improvements in resilience, adaptability, and autonomy compared to centralized approaches. Finally, the thesis opens several research avenues, including improving environment modeling through expert knowledge, enhancing learning robustness in dynamic environments, and automating organizational analysis using latent representations.