Mise en place des tranches réseau dans un réseau d'accès radio de nouvelle génération

On enforcing Network Slicing in the new generation of Radio Access Networks

• Auteur / Autrice : Karim Boutiba
• Direction : Adlen Ksentini
• Type : Thèse de doctorat
• Discipline(s) : Sciences de l'ingénieur
• Date : Soutenance le 29/01/2024
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris (1992-...)
• Partenaire(s) de recherche : Laboratoire : Institut EURECOM (Sophia-Antipolis, Alpes-Maritimes ; 1992-....)
• Jury : Président / Présidente : Jérôme Härri
• Jury : Examinateurs / Examinatrices : Géraldine Texier, Bessem Sayadi
• Jury : Rapporteurs / Rapporteuses : Philippe Martins, Marco Fiore

Mots clés

Mots clés contrôlés

Apprentissage profond

Apprentissage par renforcement (intelligence artificielle)

Apprentissage automatique

5G (téléphonie mobile)

Systèmes de communication sans fil

Mots clés libres

Découpage de réseau

Réseau d'accès radio

Apprentissage automatique

Apprentissage par renforcement profond

Duplexage dynamique

Réception discontinue

Network Slicing

Radio Access Network

Machine learning

Deep Reinforcment Learning

Dynamic TDD

DRX

Résumé

Les réseaux 5G émergents et au-delà promettent de prendre en charge de nouveaux cas d'utilisation tels que la communication holographique immersive, l'internet des compétences et la cartographie interactive 4D [1]. Ces cas d'usage ont des exigences strictes en termes de Quality de Service (Quality of Service), telles qu'une faible latence, un débit descendant et ascendant (Downlink (DL)/Uplink (UL)) élevé, ainsi qu'une faible consommation d'énergie. Les spécifications du groupe de normalisation 3GPP ont introduit de nombreuses fonctionnalités aux système radio 5G (5G NR), dans le but d'améliorer l'efficacité spectrale de la 5G et de répondre aux exigences strictes et hétérogènes des services de la 5G et au-delà. Parmi les principales fonctionnalités de la 5G NR, on peut citer l'introduction du concept de numérologie et BandWidth Part (BWP), le multiplexage temporel (TDD) dynamique et Connected-mode Discontinuous Reception (C-DRX). Toutefois, les spécifications 3GPP n'indiquent pas comment configurer la next gNode B (gNB)/User Equipment (UE) pour optimiser l'utilisation des fonctionnalités 5G NR. Afin de combler ce manque, nous proposons de nouvelles solutions qui mettent en œuvre des fonctionnalités 5G NR en appliquant les techniques de l'apprentissage automatique ou Machine Learning (ML), en particulier l'apprentissage profond par renforcement ou Deep Reinforcement Learning (DRL). En effet, les outils de l'intelligence artificielle jouent un rôle essentiel dans l'optimisation des systèmes de communication et des réseaux [2] grâce à leurs capacités à rendre le réseau capable de s'auto-configurer et s'auto-optimiser.Dans cette thèse, nous proposons plusieurs solutions pour permettre une configuration intelligente du réseau d'accès radio (RAN). Nous avons divisé les solutions en trois parties distinctes.Dans la première partie, nous proposons deux contributions. Tout d'abord, nous présentons NRflex, une solution de découpage du RAN en tranches (ou slicing), aligné sur l'architecture Open RAN (O-RAN). Par la suite, nous modélisons le problème de découpage du RAN en tranches comme un problème Mixed-Integer Linear Programming (MILP). Après avoir montré que la résolution du problème prend un temps exponentiel, nous avons introduit une nouvelle approche pour le résoudre en un temps polynomial, ce qui est très important pour la fonction de l'ordonnancement (scheduling) des ressources radio. La nouvelle approche consiste à formaliser et résoudre ce problème par le biais l'apprentissage par renforcement profond (DRL).Dans la deuxième partie de la thèse, nous proposons une solution basée sur le DRL pour permettre un TDD dynamique dans une seule cellule 5G NR. La solution a été implémentée dans la plateforme OpenAirInterface (OAI) et testée avec UEs réels. Nous avons ensuite étendu la solution, en tirant parti de Multi-Agent Deep Reinforcement Learning (MADRL), pour prendre en charge plusieurs cellules en tenant compte de l'interférence radio entre les liaisons transversales entre les cellules.Dans la dernière partie de la thèse, nous avons proposé trois solutions pour optimiser le RAN afin de prendre en charge les services URLLC. Tout d'abord, nous avons proposé une solution en deux étapes basées sur l'apprentissage automatique pour prédire les coupures du lien radio ou Radio Link Failure (RLF). Le modèle de prédiction RLF a été entraîné avec des données réelles obtenues à partir d'un banc d'essai 5G. Dans la deuxième contribution, nous avons proposé une solution basée sur le DRL pour réduire la latence UL. Notre solution alloue (prédit) dynamiquement les futurs besoins en ressource radio du UL en apprenant du modèle de trafic. Dans la dernière contribution, nous introduisons une solution basée sur le DRL afin d'équilibrer la latence et la consommation d'énergie en calculant conjointement les paramètres C-DRX et la configuration BWP.

The emerging 5G networks and beyond promise to support novel use cases such as immersive holographic communication, Internet of Skills, and 4D Interactive mapping [usecases]. These use cases require stringent requirements in terms of Quality of Service (QoS), such as low latency, high Downlink (DL)/Uplink (UL) throughput and low energy consumption. The 3rd Generation Partnership Project (3GPP) specifications introduced many features in 5G New Radio (NR) to improve the physical efficiency of 5G to meet the stringent and heterogeneous requirements of beyond 5G services. Among the key 5G NR features, we can mention the numerology, BandWidth Part (BWP), dynamic Time Duplex Division (TDD) and Connected-mode Discontinuous Reception (C-DRX). However, the specifications do not provide how to configure the next Generation Node B (gNB)/User Equipment (UE) in order to optimize the usage of the 5G NR features. We enforce the 5G NR features by applying Machine Learning (ML), particularly Deep Reinforcement Learning (DRL), to fill this gap. Indeed, Artificial Intelligence (AI)/ML is playing a vital role in communications and networking [1] thanks to its ability to provide a self-configuring and self-optimizing network.In this thesis, different solutions are proposed to enable intelligent configuration of the Radio Access Network (RAN). We divided the solutions into three different parts. The first part concerns RAN slicing leveraging numerology and BWPs. In contrast, the second part tackles dynamic TDD, and the last part goes through different RAN optimizations to support Ultra-Reliable and Low-Latency Communication (URLLC) services.In the first part, we propose two contributions. First, we introduce NRflex, a RAN slicing framework aligned with Open RAN (O-RAN) architecture. NRflex dynamically assigns BWPs to the running slices and their associated User Equipment (UE) to fulfill the slices' required QoS. Then, we model the RAN slicing problem as a Mixed-Integer Linear Programming (MILP) problem. To our best knowledge, this is the first MILP modeling of the radio resource management featuring network slicing, taking into account (i) Mixed-numerology, (ii) both latency and throughput requirements (iii) multiple slices attach per UE (iv) Inter-Numerology Interference (INI). After showing that solving the problem takes an exponential time, we consider a new approach in a polynomial time, which is highly required when scheduling radio resources. The new approach consists of formalizing this problem using a DRL-based solver.In the second part of this thesis, we propose a DRL-based solution to enable dynamic TDD in a single 5G NR cell. The solution is implemented in OAI and tested using real UEs. Then, we extend the solution by leveraging Multi-Agent Deep Reinforcement Learning (MADRL) to support multiple cells, considering cross-link interference between cells.In the last part, we propose three solutions to optimize the RAN to support URLLC services. First, we propose a two-step ML-based solution to predict Radio Link Failure (RLF). We combine Long Short-Term Memory (LSTM) and Support Vector Machine (SVM) to find the correlation between radio measurements and RLF. The RLF prediction model was trained with real data obtained from a 5G testbed. In the second contribution, we propose a DRL-based solution to reduce UL latency. Our solution dynamically allocates the future UL grant by learning from the dynamic traffic pattern. In the last contribution, we introduce a DRL-based solution to balance latency and energy consumption by jointly deriving the C-DRX parameters and the BWP configuration.