Apprentissage par renforcement robuste : théorie et pratique

Robust Reinforcement Learning : Theory and Practice

• Auteur / Autrice : Pierre Clavier
• Direction : Erwan Le pennec, Stéphanie Allassonnière
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques appliquées
• Date : Soutenance le 20/11/2024
• Etablissement(s) : Institut polytechnique de Paris
• Ecole(s) doctorale(s) : École doctorale de mathématiques Hadamard
• Partenaire(s) de recherche : Laboratoire : CMAP - Centre de Mathématiques appliquées - Centre de Mathématiques Appliquées de l'Ecole polytechnique / CMAP - Health data- and model- driven approaches for knowledge acquisition (Paris ; 2025-....) - Health data-and model-driven approaches for Knowledge Acquisition / HeKA | U1346
• Jury : Président / Présidente : Rémi Munos
• Jury : Examinateurs / Examinatrices : Erwan Le pennec, Stéphanie Allassonnière, Aurélien Garivier, Ana Bušić, Éric Moulines, Michal Valko, Shie Mannor
• Jury : Rapporteurs / Rapporteuses : Aurélien Garivier, Ana Bušić

Mots clés

Mots clés contrôlés

Commande robuste

Processus décisionnels de Markov relationnels

Apprentissage par renforcement (intelligence artificielle)

Mots clés libres

Apprentissage par renforcement (intelligence artificielle)

Processus décisionnels de Markov relationnels

Robustesse

Reinforcement Learning

Statistics

Robust Machine Learning

Résumé

L'apprentissage par renforcement (RL) est un paradigme d'apprentissage automatique qui aborde la question de la prise de décision séquentielle. Dans ce paradigme, l'algorithme, désigné comme un agent, réagit à des interactions avec un environnement. À chaque interaction, l'agent effectue une action dans l'environnement, observe un nouvel état de l'environnement et reçoit une récompense en conséquence. L'objectif de l'agent est d'optimiser une récompense cumulative, qui est définie par l'utilisateur pour s'aligner sur la tâche spécifique à accomplir dans l'environnement. La théorie du processus décisionnel de Markov (MDP) est utilisée pour formaliser ce concept. Cependant, en cas de mauvaise spécification du modèle ou d'erreur dans la fonction de transition de l'environnent ou de la récompense, les performances du RL peuvent diminuer rapidement. Pour résoudre ce problème, le concept de MDP robustes a émergé, l'objectif étant d'identifier la politique optimale sous l'hypothèse que le noyau de transition appartient à un ensemble d'incertitude. Cette thèse présente une étude théorique de la complexité d'échantillonnage des MDP robustes, ou de la quantité de données nécessaires pour atteindre une erreur arbitrairement petite. Ces résultats démontrent que dans certains cas, cette complexité peut être inférieure à celle des MDP classiques, ce qui constitue une voie prometteuse pour concevoir de nouveaux algorithmes efficaces sur le plan de l'échantillonnage. La thèse se poursuit par des propositions de nouveaux algorithmes RL robustes pour renforcer les performances de RL ayant des ensembles d'action continus. Notre méthode est basée sur les MDP averses aux risques et les jeux à somme nulle, dans lesquels l'adversaire peut être considéré comme un agent qui change l'environnement dans le temps. En conclusion, la dernière section présentera des nouvelles tâches pour l'évaluation des algorithmes RL robustes, qui manquent de références pour l'évaluation des performances.

Reinforcement learning (RL) is a machine learning paradigm that addresses the issue of sequential decision-making. In this paradigm, the algorithm, designated as an agent, responds to interactions with an environment. At each interaction, the agent performs an action within the environment, observes a new state of the environment, and receives a reward in consequence. The objective of the agent is to optimise an cumulative reward, which is defined by the user to align with the specific task at hand within the environment. The Markov Decision Process (MDP) theory is used in order to formalise these concepts. However, in the event of mispecifications or errors in the transition or reward function, the performance of RL may decline rapidly. To address this issue, the concept of robust MDPs has emerged, whereby the objective is to identify the optimal policy under the assumption that the transition kernel belongs to a bounded uncertainty set.This thesis presents a theoretical study of the sample complexity of robust MDPs, or the amount of data required to achieve an arbitrary small convergence error. It demonstrates that in certain cases, the sample complexity of robust MDPs can be lower than for classical MDPs, which is a promising avenue for the derivation of sample-efficient algorithms. The thesis then goes on to derive new robust RL algorithms to strengthen the performance of RL in continuous control. Our method is based on risk-averse MDPs and zero-sum games, in which the adversary can be seen as an agent that change the environment in the time. In conclusion, the final section present a benchmark for the evaluation of robust RL algorithms, which currently lack a reproducible benchmarks for performance assessment.