Apprentissage par renforcement sous risque de ruine

Reinforcement Learning under the Risk of Ruin

• Auteur / Autrice : Thibault Roux
• Direction : Gauthier Picard
• Type : Projet de thèse
• Discipline(s) : Informatique et Télécommunications
• Date : Inscription en doctorat le 01/05/2024
• Etablissement(s) : Toulouse, ISAE
• Ecole(s) doctorale(s) : École doctorale Mathématiques, informatique et télécommunications
• Partenaire(s) de recherche : Laboratoire : ISAE-ONERA MOIS MOdélisation et Ingénierie des Systèmes
• Partenaire(s) de recherche : Equipe de recherche : ONERA/DTIS/MITT - Département Traitement de l'Information et Systèmes

Mots clés

Mots clés libres

Apprentissage par Renforcement

Processus de Décision Makovien

Programmation Dynamique

Risque de Ruine

Planification

Reinforcement Learning

Markovian Decision Processes

Dynamique Programming

Risk of Ruin

Planning

Résumé

Cette thèse s'intéresse à la classe de problèmes appelée « Survival RL », qui peut être considérée comme la version multi-états des « Survival MAB » [Perotto 2019, 2021, 2022]. Dans le problème étudié, l'agent, sans connaissance préalable des fonctions de récompense et de transition d'état, vise à apprendre une politique optimale contrainte par un budget. Le budget représente les ressources de l'agent. Il évolue dans le temps avec les récompenses reçues, et il doit rester positif tout au long du processus (sinon c'est la ruine et la conséquente désintégration du système). Les récompenses peuvent être positives ou négatives selon l'état du système et l'action choisie. L'objectif est donc de trouver un bon compromis entre exploration (i.e. agir pour apprendre de nouvelles choses), exploitation (i.e. agir de manière optimale en fonction de ce qui est déjà connu), et sécurité (i.e. gérer le budget), cherchant ainsi à apprendre à maximiser les récompenses au fil du temps de façon efficiente, mais tout en minimisant le risque de ruine. Ainsi, à partir des résultats préliminaires déjà maitrisés par l'équipe SYD du DTIS à l'ONERA, l'objectif de cette thèse sera celui de (a) consolider et généraliser ces résultats en ce qui concerne le modèle de bandits, et (b) étendre ces résultats à l'apprentissage par renforcement, dans un premier temps en cherchant à modifier les algorithmes classiques, pour les MDPs, et à terme (c) introduire la notion de survie dans des algorithmes récents qui se basent sur le Deep Reinforcement Learning. Finalement, d'autres pistes peuvent être aussi envisagées, telle la prise en compte d'une observabilité partielle de l'environnement, la représentation factorisée des états, et l'introduction de plusieurs variables de survie budgétisées, constituant un problème d'optimisation multicritère et multi-contraintes.

This thesis focuses on the class of problems called “Survival RL”, which can be considered as the multi-state version of the “Survival MAB” [Perotto et al. 2019, 2021, 2022]. In the studied problem, the agent, without any prior knowledge about the reward and state transition functions, aims to learn an optimal policy constrained by a budget. The budget represents the agent's resources. It evolves over time with the rewards received, and must remain positive throughout the process. Rewards can be positive or negative depending on the state of the system and the action chosen. The objective is to find a good trade-off between exploration (i.e. acting to learn new things), exploitation (i.e. acting in an optimal way according to what is already known), and safety (i.e. managing the budget), seeking to maximize rewards over time in an efficient way, while minimizing the risk of ruin. Based on the preliminary results already obtained by the SYD team of DTIS at ONERA, the objective of this thesis is (a) to consolidate and generalize the results with regard to the multi-armed bandit model, and (b) to extend that results to the reinforcement learning context, initially by modifying classical, MDP-based, algorithms, then (c) introducing the notion of survival into the deep reinforcement learning framework. Other cues can also be considered, such as taking into account partial observability, factorized representation of states, and considering several budgeted survival variables, constituting a multi-criteria and multi-constraint optimization problem.