Émergence de protocoles avec apprentissage par renforcement multi-agents

Protocol emergence with multi-agent reinforcement learning

• Auteur / Autrice : Mateus Pontes Mota
• Direction : Jean-Marie Gorce
• Type : Thèse de doctorat
• Discipline(s) : Traitement du signal et des images
• Date : Soutenance le 23/01/2024
• Etablissement(s) : Lyon, INSA
• Ecole(s) doctorale(s) : École doctorale Électronique, électrotechnique, automatique (Lyon)
• Partenaire(s) de recherche : Membre de : Université de Lyon (2015-....)
• Partenaire(s) de recherche : Laboratoire : CITI - Centre d'Innovation en Télécommunications et Intégration de services (Lyon, INSA) - CITI Centre of Innovation in Telecommunications and Integration of services / CITI
• Jury : Président / Présidente : Philippe Mary
• Jury : Examinateurs / Examinatrices : Jean-Marie Gorce, Philippe Mary, Elena Veronica Belmega, Cedomir Stefanovic, Monica Navarro, Alvaro Valcarce
• Jury : Rapporteurs / Rapporteuses : Elena Veronica Belmega, Cedomir Stefanovic

Mots clés

Mots clés contrôlés

Systèmes de communication sans fil

Mots clés libres

Télécommunications

Apprentissage par Renforcement

Système multiagents

Emergence de protocole

Communication sans fil

Ordonnancement

Communication massive de type machine

Allocation de ressources

Telecommunications

Reinforcement Learning

Multi-Agent system

Protocol emergence

Wireless communication System

Scheduling

Massive Machine Type Communication

Resource allocation

Résumé

Dans ce travail, nous introduisons une nouvelle technique automatisée de conception de protocoles appelée émergence de protocole. Dans le contexte de l'émergence de protocole, les nœuds du réseau échangent des messages de contrôle pour coordonner la livraison de données à travers le réseau, le tout sans accord préalable sur la signification de ces messages. Cette approche peut être considérée comme une technique combinée de signalisation et d'optimisation de réseau. L'émergence de protocole offre la possibilité de minimiser les surcharges de signalisation, particulièrement adaptée aux scénarios de communication massive de type machine (MMTC), et facilite la création de protocoles personnalisés adaptés à des applications spécifiques. Cette adaptabilité est particulièrement bénéfique dans des environnements relativement stables, tels que des installations industrielles intérieures. Pour commencer, nous présentons les concepts fondamentaux de l'émergence de protocole en introduisant un cadre. Ce cadre décrit des méthodes pour évaluer les performances des protocoles, caractériser les protocoles, coordonner entre les nœuds et interpréter les messages échangés. Nous analysons ce cadre dans le contexte d'un problème d'accès multiple entrelacé. Dans la partie suivante de ce travail, nous évaluons les performances de l'émergence de protocole dans un scénario impliquant une allocation de ressources contiguë. Cette évaluation vise à comprendre les capacités d'apprentissage et les limitations de l'émergence de protocole, démontrant sa robustesse à certains paramètres et abordant les défis liés à la scalabilité des équipements utilisateur (UE), par exemple. La troisième partie de ce travail se concentre sur l'évaluation de l'émergence de protocole sous contraintes de signalisation dans un scénario d'allocation non contiguë avec signalisation intermittente. Ici, nous nous concentrons sur l'élaboration d'une méthode pour contrôler le débit binaire de contrôle utilisé par le protocole. Les résultats soulignent l'impact des coûts de signalisation sur la réduction du débit binaire de contrôle et les effets conséquents sur la coordination et les performances globales. En conclusion, cette thèse délimite le problème de l'émergence de protocole, faisant progresser notre compréhension de l'apprentissage autonome de schémas de signalisation de contrôle efficaces. De plus, elle aborde les défis de la conception de protocoles et trace des directions nouvelles et prometteuses pour la recherche future. Les contributions notables incluent la formulation d'un cadre pour la génération et l'étude de protocoles émergents, une analyse approfondie des capacités et limitations d'apprentissage de telles méthodes, ainsi que des stratégies pour contrôler la charge de signalisation introduite par les protocoles émergents.

In this work, we introduce a novel automated technique for protocol design known as protocol emergence. In the context of protocol emergence, network nodes engage in the exchange of control messages to coordinate the delivery of data across the network, all without a predefined agreement on the meaning of these messages. This approach can be viewed as a combined signaling and network optimization technique. Protocol emergence offers the potential to minimize signaling overhead, particularly suitable for Massive Machine Type Communication (MMTC) scenarios, and facilitates the creation of custom protocols tailored to specific applications. This adaptability is particularly beneficial in relatively stable environments like indoor factory settings. To begin, we present the foundational concepts of protocol emergence through the introduction of a framework. This framework outlines methods for evaluating protocol performance, characterizing protocols, coordinating across nodes, and interpreting the exchanged messages. We analyze this framework in the context of a slotted multiple-access problem. In the subsequent part of this work, we assess the performance of protocol emergence in a scenario involving contiguous resource allocation. This evaluation aims to understand the learning capabilities and limitations of protocol emergence, demonstrating its robustness to certain parameters and addressing challenges related to User Equipment (UE) scalability. The third part of this work focuses on evaluating protocol emergence under signaling constraints within a non-contiguous allocation scenario featuring intermittent signaling. Here, we concentrate on devising a method to control the control bit-rate employed by the protocol. The results underscore the impact of signaling costs on reducing the control bit-rate and the consequent effects on coordination and overall performance. In conclusion, this thesis delineates the problem of protocol emergence, advancing our understanding of autonomously learning effective control signaling schemes. Additionally, it addresses challenges in protocol design and charts new and promising directions for future research. Notable contributions include the formulation of a framework for generating and studying emergent protocols, an in-depth analysis of the learning capabilities and limitations of such methods, and strategies for controlling the signaling load introduced by emergent protocols.