Apprentissage par renforcement profond pour l'optimisation conjointe de l'ordonnancement et de l'allocation de ressources et dans les réseaux ad hoc mobiles

Deep reinforcement learning for joint optimization of scheduling and resource allocation in mobile ad hoc networks

• Auteur / Autrice : Sylvain Nérondat
• Direction : Philippe Ciblat, Christophe Le Martret
• Type : Projet de thèse
• Discipline(s) : Information, communications, électronique
• Date : Inscription en doctorat le 01/03/2022
• Etablissement(s) : Institut polytechnique de Paris
• Ecole(s) doctorale(s) : École doctorale de l'Institut polytechnique de Paris
• Partenaire(s) de recherche : Laboratoire : Laboratoire Traitement et communication de l'information (Paris ; 2003-....)
• Partenaire(s) de recherche : Equipe de recherche : ComNum : Communications Numériques

Mots clés

Mots clés libres

Apprentissage par renforcement

Allocation de ressources

Réseaux ad hoc

Reinforcement learning

Resource allocation

Ad hoc networks

Résumé

Le thème central de la thèse concerne l'utilisation des techniques d'apprentissage par renforcement profond pour résoudre le problème d'ordonnancement et d'allocation de ressources conjoint dans les systèmes de communications ad hoc mobiles. On se place dans le contexte de réseaux ad hoc clusterisés pour lequel les noeuds sont regroupés sous forme de clusters dont la composition peut varier de manière dynamique au cours du temps. Au sein de chaque cluster, la tâche d'ordonnancement et d'allocation de ressources est réalisée par un noeud dédié qui reçoit les requêtes de communications. Le problème qu'on se propose de résoudre est de trouver l'ordonnancement et l'allocation de ressources conjointes optimal sous certaines contraintes de qualités de service (QoS). Le problème d'optimisation global possède un espace d'états et d'actions de dimension élevée et ne peut pas être résolu par des méthodes analytiques, d'où le recours aux nouvelles techniques d'apprentissage par renforcement utilisant des réseaux de neurones profonds. L'objectif général de la thèse est l'étude de solutions nouvelles et de leurs performances pour la mise en oeuvre d'algorithmes d'ordonnancement et d'allocation de ressources conjoints au niveau de l'accès radio dans le paradigme de l'optimisation croisée appliqués aux réseaux ad hoc mobiles clusterisés.

The central theme of the thesis concerns the use of deep reinforcement learning techniques to solve the joint scheduling and resource allocation problem in mobile ad hoc communication systems. The context of this work is clustered ad hoc networks where nodes are grouped in clusters whose composition can vary dynamically over time. Within each cluster, the scheduling and resource allocation task is performed by a dedicated node that receives the communication requests. The problem we propose to solve is to find the optimal joint scheduling and resource allocation under certain quality of service (QoS) constraints. The global optimization problem has a high dimensional state and action space and cannot be solved by analytical methods, hence the use of new reinforcement learning techniques using deep neural networks. The general objective of the thesis is to study new solutions and their performance for the implementation of joint scheduling and resource allocation algorithms at the radio access level in the cross-optimization paradigm applied to clustered mobile ad hoc networks.