Contributions à l'apprentissage par renforcement hors ligne avec prise en compte du risque : étude sur l'augmentation des données, sur la sélection des politiques et sur l'explicabilité

Advances in risk-aware offline reinforcement learning : a study of data augmentation, policy selection, and explainability

• Auteur / Autrice : Giorgio Angelotti
• Direction : Caroline Ponzoni Carvalho Chanel
• Type : Thèse de doctorat
• Discipline(s) : Informatique et Robotique
• Date : Soutenance le 12/06/2023
• Etablissement(s) : Toulouse, ISAE
• Ecole(s) doctorale(s) : École doctorale Systèmes (Toulouse ; 1999-....)
• Partenaire(s) de recherche : Equipe de recherche : Equipe d'accueil doctoral DECIsion, Supervision et Interaction pour l'Opération de systèmes complexes (Toulouse, Haute-Garonne)
• Partenaire(s) de recherche : Laboratoire : Institut supérieur de l'aéronautique et de l'espace (Toulouse, Haute-Garonne). Département conception et conduite des véhicules aéronautiques et spatiaux
• Jury : Président / Présidente : Régis Sabbadin
• Jury : Examinateurs / Examinatrices : Caroline Ponzoni Carvalho Chanel, Régis Sabbadin, Marek Petrik, Bruno Zanuttini, Emmanuel Rachelson, Vincent René Léon Thomas, Nicolas Drougard, Rémi Munos
• Jury : Rapporteur / Rapporteuse : Marek Petrik, Bruno Zanuttini

Mots clés

Mots clés contrôlés

Statistique bayésienne

Interaction homme-robot

Apprentissage par renforcement (intelligence artificielle)

Mots clés libres

Apprentissage par renforcement hors ligne

Sensible au risque

Interaction homme-Robot

Augmentation des données

Explicabilité

Sélection des politiques

Offline reinforcement learning

Risk-Sensitive

Human-Robot interaction

Data augmentation

Explainability

Policy selection

Résumé

Dans le domaine de l'apprentissage par renforcement hors ligne, l'objectif est d'apprendre une politique de décision hors ligne, c'est-à-dire sur la base d'un lot d'expériences collectées précédemment et sans interaction supplémentaire, de préférence d'une manière efficace en termes de données et sensible au risque. Cette thèse présente plusieurs techniques pour atteindre cet objectif, en mettant l'accent sur les méthodes basées sur des modèles : des paradigmes qui infèrent d'abord un modèle comportemental pour le problème de prise de décision séquentielle et le résolvent ensuite en prenant en compte l'incertitude de l'estimation du modèle. Les contributions présentées comprennent une méthode pour augmenter un ensemble de données d'échantillons en détectant les symétries dans la dynamique du système, une méthode pour effectuer une sélection de politique sensible au risque hors ligne appelée Exploitation vs Caution (EvC) en recourant au cadre du processus de décision de Markov bayésien, et un paradigme pour l'explicabilité dans les systèmes coopératifs multi-agents en utilisant l'analyse de Myerson. De plus, nous discutons des perspectives d'application de l'approche EvC pour obtenir une politique de contrôle d'interaction adaptative dans un scénario homme-robot. En effet, en prenant les précautions nécessaires, nous avons adapté l'algorithme EvC pour la sélection de politiques sensibles au risque afin de l'appliquer au ISAE Robot Firefighter Game, qui implique l'optimisation de politiques adaptatives pour contrôler l'interaction entre un robot pompier et un pompier humain dans un scénario de preuve de concept. Dans l'ensemble, les contributions de cette thèse démontrent le potentiel des techniques présentées pour améliorer de manière significative la performance des algorithmes d'apprentissage par renforcement hors ligne et pour être appliquées dans une variété de contextes du monde réel, y compris l'interaction homme-robot.

In the field of Offline Reinforcement Learning, the goal is to learn a decision policy offline based on a previously collected batch of experiences and without additional interaction in a data-efficient and risk-sensitive manner. This dissertation presents several techniques for achieving this goal, with a focus on model-based methods: paradigms that first infer a behavioral model for the sequential decision-making problem and subsequently solve it by taking into account model uncertainty. The presented contributions include a method for augmenting a dataset of samples through detecting symmetries in the system dynamics, an algorithm for performing offline risk-sensitive policy selection called Exploitation vs Caution (EvC) resorting to the Bayesian Markov Decision Process framework, and a paradigm for explainability in multi-agent cooperative systems using Myerson analysis. Additionally, perspectives are discussed for applying the EvC approach to obtaining an adaptive interaction control policy in a human-robot scenario. Indeed, taking proper precautions, we adapted the EvC algorithm for risk-sensitive policy selection to be applied to the ISAE Firefighter Robot Game, which involves the optimization of adaptive policies to control the interaction between a firefighter robot and a human operator in a proof-of-concept scenario. Overall, the contributions of this thesis demonstrate the potential for the presented techniques to significantly improve the performance of Offline Reinforcement Learning algorithms and to be applied in a variety of real-world settings, including Human-Robot Interaction.