Apprentissage par renforcement et optimisation pour un slicing 5G économe en énergie et garantissant la qualité de service

Reinforcement learning and optimization for energy efficient 5G slicing with Quality of Service guarantees

• Auteur / Autrice : Maxime Elkael
• Direction : Hind Castel, Andrea Giuseppe Araldo
• Type : Thèse de doctorat
• Discipline(s) : Informatique, données, IA
• Date : Soutenance le 19/12/2023
• Etablissement(s) : Institut polytechnique de Paris
• Ecole(s) doctorale(s) : École doctorale de l'Institut polytechnique de Paris
• Partenaire(s) de recherche : Laboratoire : SAMOVAR - Services répartis, Architectures, Modélisation, Validation, Administration des Réseaux - Institut Polytechnique de Paris / IP Paris - Département Réseaux et Services de Télécommunications / TSP - RST - Network Systems and Services / NeSS-SAMOVAR
• Jury : Président / Présidente : Stefano Secci
• Jury : Examinateurs / Examinatrices : Tristan Cazenave, Adlen Ksentini, Emmanuel Hyon, Véronique Vèque, Nancy Perrot
• Jury : Rapporteurs / Rapporteuses : Tristan Cazenave, Adlen Ksentini

Mots clés

Mots clés contrôlés

Apprentissage par renforcement (intelligence artificielle)

Intelligence artificielle

Apprentissage profond

Mots clés libres

Réseaux virtuels et slicing

Apprentissage par renforcement

Optimisation

Allocation des ressources

Économie d'énergie

Qualité de Service

Virtual networks and slicing

Reinforcement learning

Optimization

Dynamic allocation of ressources

Energy efficiency

Quality of Service

Résumé

Cette thèse traite des problèmes d'allocation des ressources dans les réseaux 5G. Notre objectif est d'exploiter le slicing du réseau (c'est-à-dire un corpus de techniques basées sur la virtualisation et la softwarisation du réseau qui permettent à l'opérateur de fournir différentes quantités de ressources à différents clients) afin d'améliorer l'efficacité énergétique et la consommation de ressources des réseaux 5G, tout en respectant des contraintes de Qualité de Service. Pour ce faire, nous formulons et résolvons des problèmes d'optimisation dans les différents domaines du réseau : nous nous intéressons tout d'abord au placement des slices dans le réseau coeur. Pour résoudre le problème, une nouvelle approche combinant la recherche Monte Carlo et la recherche par voisinage est formulée. Nous montrons qu'elle permet d'accepter plus de slices que les techniques de l'état de l'art pour le problème de placement du réseau coeur. Ensuite, nous mettons l'accent sur l'efficacité énergétique en proposant un framework pour l'allocation de ressources dans les réseaux 5G partagés entre les opérateurs de réseaux physiques (PNO) et les opérateurs de réseaux mobiles virtuels (MVNO). Ce framework tient compte à la fois du placement des composants logiciels, du routage des demandes des utilisateurs et du dimensionnement des ressources, tout en respectant les accords de niveau de service (SLA) basés sur des contraintes de latence et de fiabilité. Grâce à la génération de colonnes, nous obtenons des solutions exactes, démontrant des économies d'énergie allant jusqu'à 50% dans des réseaux réels, par rapport aux algorithmes de placement ou de minimisation des ressources existants. Enfin, nous abordons le problème de l'optimisation de l'énergie dans les réseaux Integrated Access and Backhaul (IAB), un élément clé des déploiements denses de la 5G. S'appuyant sur le framework du réseau d'accès ouvert Open RAN (O-RAN), notre modèle minimise les noeuds IAB actifs tout en garantissant une capacité minimale pour l'équipement de l'utilisateur (UE). Formulée comme un programme non linéaire binaire, cette approche réduit la consommation d'énergie du RAN de 47%, tout en maintenant la qualité de service pour les UEs. Dans l'ensemble, cette thèse propose de nouveaux algorithmes pour améliorer la l'efficacité en ressources et en énergie du réseau 5G slicé. Ces améliorations sont étudiées dans différentes parties du réseau, du coeur au réseau d'accès.

This thesis addresses resource allocation problems in 5G networks. Our objective is to leverage network slicing (e.g. the set of techniques based on virtualization and network softwarization which allows the network operator to provide different amounts of resources to different tenants) in order to to improve the energy-efficiency and resource consumption of 5G networks, while guaranteeing Quality of Service constraints. To do so, we formulate and solve optimization problems at the different domains of the network: We are first concerned with the placement of slices in the core network. To solve the problem, a new approach combining Monte Carlo Search and Neighborhood Search is formulated. We show it accepts more core slices than state-of-the-art approaches for the core network placement problem. Then we shift the focus to energy efficiency in resource allocation in 5G networks shared between Physical Network Operators (PNOs) and Mobile Virtual Network Operators (MVNOs). This framework jointly considers software component placement, user request routing, and resource dimensioning while meeting Service Level Agreements (SLAs) based on latency and reliability constraints. Through Column Generation, we obtain exact solutions, demonstrating energy savings of up to 50% in real networks compared to existing placement or resource minimization algorithms. Finally, we delve into the realm of energy optimization in Integrated Access and Backhaul (IAB) networks, a key component of dense 5G deployments. Leveraging the Open Radio Access Network (O-RAN) framework, our model minimizes active IAB nodes while ensuring a minimum capacity for User Equipment (UE). Formulated as a binary nonlinear program, this approach reduces RAN energy consumption by 47%, while maintaining Quality-Of-Service for UEs. Overall, this thesis provides novel algorithms for improving resource and energy efficiency of 5G network slicing. Such improvement is studied in different parts of the network, from the core up to the access network.