Optimisation des réseaux de neurones graphiques pour une détection d'anomalies en temps réel améliorée et une sécurité prédictive dans les systèmes cyber-physiques

Optimizing Graph Neural Networks for Enhanced Real-Time Anomaly Detection and Predictive Security in Cyber-Physical System

• Auteur / Autrice : Youcef Belkadi
• Direction : Yacine Amirat
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 01/09/2024
• Etablissement(s) : Paris 12
• Ecole(s) doctorale(s) : École doctorale Mathématiques, Sciences et Technologies de l'Information et de la Communication
• Partenaire(s) de recherche : Laboratoire : LISSI - Laboratoire Images, Signaux et Systèmes Intelligents

Mots clés

Mots clés libres

Ia

Gnn

Cybersecurité

Ai

Gnn

Cybersecurity

Résumé

Cette thèse vise à être pionnière dans l'application des dernières avancées en apprentissage automatique, en particulier l'intégration de modèles basés sur des transformeurs avec les réseaux de neurones graphiques (GNN), pour révolutionner la détection d'anomalies en temps réel et la sécurité dans les systèmes cyber-physiques (CPS). La recherche sera fondée sur les techniques de transformeurs de pointe, qui ont récemment connu un succès significatif dans divers domaines de l'apprentissage automatique, et adaptera ces méthodes aux défis spécifiques posés par les CPS. L'objectif principal sera de tirer parti des mécanismes d'auto-attention des transformeurs pour améliorer la capacité des GNN à traiter les données des réseaux CPS. Cela implique d'adapter les architectures de transformeurs pour gérer des données structurées en graphes, permettant au modèle de capturer des dépendances complexes et à long terme entre les nœuds des réseaux CPS de manière plus efficace que les GNN traditionnels. Cette approche promet de faire un saut significatif dans la capacité du modèle à discerner des motifs subtils indicatifs de menaces de sécurité. De plus, la recherche explorera la fusion des modèles de transformeurs avec des stratégies d'apprentissage de graphes dynamiques. Étant donné la nature évolutive des réseaux CPS, la mise à jour dynamique des structures de graphes combinée aux mécanismes d'attention adaptatifs des transformeurs peut fournir une compréhension plus nuancée des changements temporels dans le réseau, améliorant ainsi grandement la précision de la détection d'anomalies. Pour répondre aux exigences computationnelles des modèles de transformeurs, en particulier dans des scénarios en temps réel, des techniques d'optimisation telles que l'élagage de modèle, la quantification et des mécanismes d'attention efficaces seront étudiées. Ces optimisations visent à maintenir des performances élevées tout en réduisant les charges computationnelles, les rendant ainsi réalisables pour un déploiement dans des environnements CPS réels où les ressources et les temps de réponse sont critiques. La recherche impliquera également le développement de nouvelles stratégies d'entraînement pour combiner efficacement les méthodes d'apprentissage supervisé et non supervisé. Cette approche hybride vise à maximiser l'utilisation des données étiquetées limitées dans les environnements CPS, un défi commun dans ce domaine, tout en exploitant de grandes quantités de données non étiquetées pour améliorer les capacités prédictives du modèle. Une partie substantielle de la thèse sera dédiée à des tests rigoureux et à la validation des modèles proposés dans divers scénarios CPS, tels que les réseaux de réseaux intelligents et les systèmes de contrôle industriels. Cela comprendra des tests de résistance du système sous divers scénarios d'attaque simulés pour évaluer la robustesse, la fiabilité et l'applicabilité dans le monde réel. En conclusion, cette thèse repoussera les frontières de l'apprentissage automatique dans le domaine de la sécurité des CPS en exploitant les dernières techniques basées sur les transformeurs dans les architectures de GNN. Cette approche innovante devrait établir une nouvelle norme dans le domaine, offrant des améliorations révolutionnaires dans la détection et la prédiction des menaces de sécurité dans les environnements CPS.

This thesis aims to pioneer the application of the latest advancements in machine learning, particularly the integration of transformer-based models with Graph Neural Networks (GNNs), to revolutionize real-time anomaly detection and security in Cyber-Physical Systems (CPS). The research will be grounded in the cutting-edge transformer techniques, which have recently seen significant success in various machine learning domains and adapt these methods to the specific challenges presented by CPS. The primary focus will be on leveraging the self-attention mechanisms of transformers to enhance the capability of GNNs in processing CPS network data. This involves tailoring transformer architectures to handle graph-structured data, enabling the model to capture complex, long-range dependencies between nodes in the CPS networks more effectively than traditional GNNs. This approach promises to bring a significant leap in the model's ability to discern subtle patterns indicative of security threats. Moreover, the research will explore the fusion of transformer models with dynamic graph learning strategies. Given the evolving nature of CPS networks, dynamically updating graph structures combined with the adaptive attention mechanisms of transformers can provide a more nuanced understanding of the temporal changes in the network, greatly enhancing anomaly detection accuracy. To address the computational demands of transformer models, particularly in real-time scenarios, optimization techniques such as model pruning, quantization, and efficient attention mechanisms will be investigated. These optimizations aim to maintain high model performance while reducing computational overhead, making them feasible for deployment in real-world CPS environments where resources and response times are critical. The research will also involve developing novel training strategies to effectively combine supervised and unsupervised learning methods. This hybrid approach is aimed at maximizing the use of limited labelled data in CPS environments, a common challenge in this domain, while leveraging large amounts of unlabelled data to enhance the model's predictive capabilities. A substantial part of the thesis will be dedicated to rigorous testing and validation of the proposed models in various CPS scenarios, such as smart grid networks and industrial control systems. This will include stress-testing the system under various simulated attack scenarios to evaluate robustness, reliability, and real-world applicability. In conclusion, this thesis will push the frontiers of machine learning in the realm of CPS security by harnessing the latest transformer-based techniques in GNN architectures. This innovative approach is expected to set a new standard in the field, offering groundbreaking improvements in the detection and prediction of security threats in CPS environments.