VERS UNE GESTION AUTONOMIQUE DE RÉSEAU ALIMENTÉE PAR DRL, SDN ET GAN POUR L’OPTIMISATION DU ROUTAGE

TOWARDS AUTONOMIC NETWORK MANAGEMENT POWERED WITH DRL, GAN AND SDN FOR ROUTING OPTIMIZATION

• Auteur / Autrice : Juan Chafla altamirano
• Direction : Khalil Drira, Gustavo Chafla
• Type : Thèse de doctorat
• Discipline(s) : Informatique et Télécommunications
• Date : Soutenance le 13/12/2024
• Etablissement(s) : Université de Toulouse (2023-....)
• Ecole(s) doctorale(s) : École doctorale Mathématiques, informatique et télécommunications (Toulouse)
• Partenaire(s) de recherche : Laboratoire : LAAS - Laboratoire d'Analyse et d'Architecture des Systèmes - Laboratoire d'analyse et d'architecture des systèmes / LAAS
• Partenaire(s) de recherche : établissement délivrant conjointement le doctorat : Institut national des sciences appliquées (Toulouse ; 1961-....)
• Jury : Président / Présidente : Noura Faci
• Jury : Examinateurs / Examinatrices : Luigi Alfredo Grieco, Sunday Ekpo
• Jury : Rapporteurs / Rapporteuses : Nazim Agoulmine, Toufik Ahmed

Mots clés

Mots clés contrôlés

SDN (architecture des réseaux d'ordinateurs)

Routage (informatique)

Mots clés libres

Réseau autonomique

Optimisation du routage

Drl

Gan

Sdn

Gestion du réseau

Autonomic networking

Routing optimization

Drl

Gan

Sdn

Network management

Résumé

Les technologies de réseau ont considérablement évolué pour répondre aux demandes croissantes des utilisateurs, telles que les communications à très faible délai et les débits de données plus élevés. Des technologies telles que l'informatique en nuage, le SDN, le NFV et le vRAN sont essentielles à cette transformation, permettant une fourniture efficace de services, mais augmentant la complexité de la gestion. Les réseaux de nouvelle génération (NGN), par exemple la 5G, donnent lieu à des systèmes complexes et hétérogènes que les approches de gestion traditionnelles ne peuvent pas gérer efficacement. Par conséquent, de nouvelles stratégies de gestion des réseaux sont essentielles, axées sur un contrôle autonome alimenté par des technologies émergentes telles que l'intelligence artificielle (IA) et la programmabilité des réseaux. Des efforts considérables sont déployés pour créer des architectures de réseau intelligentes grâce à des systèmes de gestion adaptatifs utilisant des boucles de contrôle, la télémétrie du réseau, des algorithmes d'intelligence artificielle et des mécanismes avancés d'autogestion. Le paradigme de la gestion autonome des réseaux (ANM), inspiré de l'informatique autonome, vise à fournir des fonctions d'autogestion pour réduire la complexité des réseaux. Les récentes avancées technologiques ont ravivé l'intérêt pour les idées autonomes. Cette thèse s'est concentrée sur l'étude des systèmes ANM, fournissant une vue d'ensemble de leurs caractéristiques, de leurs concepts fondamentaux et de leur trajectoire d'évolution. Nous avons développé des critères d'évaluation pour évaluer leurs propriétés autonomes, et identifier les défis et les orientations futures de la recherche. Sur la base de ces critères, nous développons un système ANM qui met en œuvre des propriétés autonomes et tire parti des technologies émergentes. Plus précisément, nous présentons une architecture autogérée qui intègre un moteur DRL et un contrôleur SDN, capable de décider et d'exécuter des actions adaptatives de manière autonome. Nous évaluons notre système ANM dans un environnement de simulation basé sur le simulateur de réseau 3 (NS-3) intégré à OpenAI Gym, en nous concentrant sur un scénario de réseau rural/éloigné où les ressources sont rares et où l'intervention manuelle n'est pas souhaitable. Nous avons démontré que notre système ANM basé sur la DRL pouvait gérer efficacement l'optimisation du routage. Notre étude comprenait un examen complet de l'état de l'art des techniques d'optimisation du routage basées sur la DRL/SDN et les propriétés autonomes, en identifiant les avancées technologiques et les lacunes pour garantir le caractère innovant de notre proposition. Nos contributions dans le domaine de l'optimisation du routage avec DRL/SDN comprennent : (i) l'utilisation d'agents DRL distribués avec un pouvoir de décision autonome ; (ii) l'indépendance par rapport aux protocoles de routage traditionnels ; et (iii) une approche à action unique, où un agent DRL définit l'itinéraire optimal en une seule décision qui affecte plusieurs nœuds simultanément. Après une simulation réussie, nous avons testé notre approche dans un environnement émulé en utilisant Containernet et OpenAI Gym, en relevant des défis tels que les goulets d'étranglement de la formation, la collecte de métriques en temps réel et l'application des actions. Nous avons intégré des réseaux adverbiaux génératifs (GAN) dans notre architecture pour générer des observations et des récompenses synthétiques, ce qui a permis d'accélérer la formation des agents DRL et de surmonter les goulets d'étranglement. Cette approche innovante a permis de mettre au point une solution d'optimisation des itinéraires très efficace et fonctionnelle. Contrairement à la littérature existante, notre proposition combine de multiples contributions et améliore considérablement les algorithmes DRL pour les environnements en réseau en incluant le module GAN.

Network technologies have evolved significantly to support increasing user demands, such as ultra-low delay communications and higher data rates. Key technologies like cloud computing, SDN, NFV, and vRAN are pivotal in this transformation, enabling efficient service delivery but increasing management complexity. Next-generation networks (NGNs), including 5G, exemplify this transformation, requiring advanced architectures to handle high traffic volumes, numerous connected devices, and improved user experience while reducing operational and capital expenditures. These technologies result in complex, heterogeneous systems that traditional management approaches cannot handle effectively. Consequently, new network management (NM) strategies are essential, focusing on autonomous control enhanced by emerging technologies such as artificial intelligence (AI) and network programmability. Researchers, industry, and standard-developing organizations are working towards creating intelligent network architectures through adaptable management systems using control loops, network telemetry, AI algorithms, and advanced mechanisms for self-management. The autonomic network management (ANM) paradigm, inspired by autonomic computing, aims to provide self-management functions to reduce network complexity. While autonomic principles have been applied in networks since their inception, modern complexities necessitate more comprehensive ANM systems. Recent technological advancements have revived interest in autonomic ideas. This thesis focused on studying NM systems through the lens of the autonomic networking paradigm, offering insights into their characteristics, fundamental concepts, and evolutionary trajectory. We developed evaluation criteria to assess the autonomic properties of ANM systems, providing a comprehensive understanding and identifying challenges and future research directions. Based on these criteria, we developed an ANM system architecture that implements autonomic properties and leverages emerging technologies. Specifically, we presented a self-management architecture integrating a DRL engine and an SDN controller (SDN-C), capable of autonomously decide and execute adaptive actions. This architecture serves as a framework for ANM systems, adaptable to different network environments and management objectives through DRL engine parameter adjustments. We evaluated our ANM system in a simulation environment based on Network Simulator 3 (NS-3) integrated with OpenAI Gym, focusing on a remote/rural network scenario where resources are scarce and manual intervention is undesirable. We demonstrated that our DRL-powered ANM system could efficiently handle routing optimization compared to other approaches. Our study included an exhaustive review of state-of-the-art routing optimization techniques based on DRL/SDN and autonomic properties, identifying technological advances and gaps to ensure our proposal's innovation. Our contributions in the routing optimization domain with DRL/SDN include: (i) The use of distributed DRL agents with autonomous decision-making power; (ii) Independence from traditional routing protocols; and (iii) A single action approach, where a DRL agent defines the optimal path in a single decision affecting multiple nodes simultaneously. After successful simulation, we tested our proposal in an emulated environment using Containernet and OpenAI Gym, addressing challenges such as training bottlenecks, real-time metric collection, and action application. We integrated Generative Adversarial Networks (GAN) into our architecture to generate synthetic observations and rewards, accelerating DRL agent training and overcoming bottlenecks. This innovative approach resulted in a highly effective and functional routing optimization solution. Unlike existing literature, our proposal combines multiple contributions and substantively improves DRL algorithms for network environments through the inclusion of the GAN module.