Algorithmes d'apprentissage par renforcement pour le contrôle de systèmes de files d'attente

Reinforcement Learning Algorithms for Controlled Queueing Systems

• Auteur / Autrice : Louis-Sébastien Rebuffi
• Direction : Bruno Gaujal, Jonatha Anselmi
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques et informatique
• Date : Soutenance le 11/12/2023
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale Mathématiques, sciences et technologies de l'information, informatique (Grenoble ; 1995-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique de Grenoble
• Partenaire(s) de recherche : Equipe de recherche : Équipe-projet Évaluation et optimisation des performances des grandes infrastructures (Montbonnot-Saint-Martin, Isère ; 2016-....)
• Jury : Président / Présidente : Nadia Brauner
• Jury : Examinateurs / Examinatrices : Alain Jean-Marie
• Jury : Rapporteurs / Rapporteuses : Gerhardus Martinus Koole, Matthieu Jonckheere

Mots clés

Mots clés contrôlés

Probabilités

Markov, Processus de

Mots clés libres

Optimisation

Algorithmes d'aprentissage

Probabilités appliquées

Applied probabilities

Learning algorithms

Optimization

Résumé

Bien que l'apprentissage par renforcement ait été récemment principalement étudié dans le cas générique des processus de décisions markoviens, le cas des systèmes de files d'attente se dinstigue particulièrement. Pour compenser la taille de l'espace d'état qui peut être extrêmement grande a priori, les algorithmes d'apprentissage doivent tenir compte de la structure des systèmes afin d'en extraire le plus d'information et de choisir le meilleur contrôle afin d'optimiser au mieux le système sur le long terme.Dans cette thèse, nous présentons des algorithmes construits à partir d'algorithmes classiques, adaptés au contexte des système de file d'attente, et nous étudions les performances de ceux-ci pour montrer une dépendance faible à l'espace d'états comparativement aux résultats obtenus dans le cas général.

Although reinforcement learning has recently been primarily studied in the generic case of Markov decision processes, the case of queueing systems stands out in particular. To make up for the potentially extremely large state space a priori, learning algorithms must take into account the structure of the systems in order to extract as much information as possible and choose the best control to optimize the system in the long run.In this thesis, we present algorithms adapted from classical algorithms in the context of queueing systems, and we study their performance to demonstrate a weak dependence on the state space compared to results obtained in the general case.