Équilibrer le risque et la récompense : une architecture générale pour l'exploration sécurisée en apprentissage pour la robotique

Balancing Risk and Reward : A General Architecture for Safe Exploration in Robotic Learning

• Auteur / Autrice : Charly Pecqueux--guézénec
• Direction : Stéphane Doncieux
• Type : Projet de thèse
• Discipline(s) : Sciences et technologies de l'information et de la communication
• Date : Inscription en doctorat le ; Soutenance le 12/06/2026
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris
• Partenaire(s) de recherche : Laboratoire : Institut des Systèmes Intelligents et de Robotique
• Jury : Président / Présidente : Sylvain Lamprier
• Jury : Examinateurs / Examinatrices : Stéphane Doncieux, Erwan Le pennec, Nicolas Perrin-gilbert, Alain Dutech, Laetitia Matignon
• Jury : Rapporteurs / Rapporteuses : Erwan Le pennec, Alain Dutech

Mots clés

Mots clés libres

Apprentissage par renforcement

Exploration sécurisée

Apprentissage par renforcement sous contraintes

Apprentissage par renforcement conditionné par des buts

Apprentissage par renforcement distributionnel

Robotique

Reinforcement learning

Safe exploration

Safe reinforcement learning

Goal-conditioned reinforcement learning

Distributional reinforcement learning

Robotics

Résumé

Cette thèse vise à réduire le fossé entre l'apprentissage par renforcement (RL) et le contrôle robotique. L'apprentissage par renforcement, et en particulier l'apprentissage par renforcement conditionné par des buts (GCRL), permet de concevoir des contrôleurs capables de gérer des tâches variées, d'explorer des environnements et d'adapter leurs comportements. Cependant, le RL repose fondamentalement sur un apprentissage par essai-erreur. Si cette approche est acceptable en simulation, elle peut entraîner des conséquences catastrophiques dans le monde réel, où une erreur d'un robot peut provoquer des dommages matériels ou mettre en danger des personnes. Étant donné que le RL constitue un cadre général capable de traiter un large éventail de problèmes avec peu d'hypothèses a priori, nous l'adoptons comme point de départ et y intégrons des a priori issus de la théorie du contrôle, larges et peu contraignants, afin de fournir des garanties de sécurité probabilistes. Pour répondre à ce problème, nous proposons une architecture d'agent générale conçue pour l'exploration et l'apprentissage sûrs. Celle-ci se compose de trois éléments : (i) l'apprentissage d'une politique conditionnée par des buts, (ii) l'apprentissage d'une politique de sécurité, et (iii) un mécanisme d'arbitrage déterminant quelle politique génère l'action courante en fonction du contexte présent, à savoir l'état de l'environnement et le niveau de confiance en la sécurité associé à l'agent. Dans un premier temps, lors d'une phase de préapprentissage, nous utilisons des méthodes d'apprentissage par renforcement sécurisé (safe RL) et d'apprentissage par renforcement distributionnel (distributional RL) afin d'apprendre une politique de sécurité qui évite activement les situations d'échec dans des contextes variés. Les estimateurs distributionnels de la valeur état-action associés à la politique de sécurité permettent d'évaluer le niveau de risque associé à chaque couple état-action. Ensuite, lors d'une phase d'exploration sécurisée, un mécanisme de sélection d'actions s'appuie sur ces estimateurs pour arbitrer entre la politique de sécurité et une politique d'exploration conditionnée par des buts. Ce mécanisme garantit la sécurité en basculant vers la politique de sécurité dès que le risque estimé dépasse un seuil prédéfini. Dans une première approche, appelée Learning to Explore when Mistakes are Not Allowed (LEMNA), nous estimons lors du préapprentissage un ensemble d'états viables au sens de Wieber, et nous restreignons l'apprentissage durant l'exploration sécurisée à la seule politique conditionnée par des buts. Dans une approche ultérieure, appelée SenseOfRisk, nous exploitons l'incertitude épistémique pour éviter les régions fortement incertaines lors de l'exploration sécurisée, ce qui réduit significativement le coût de préapprentissage et permet un apprentissage conjoint des politiques d'objectif et de sécurité. Nous évaluons notre approche dans des environnements simulés et montrons qu'elle permet une large couverture de l'espace des objectifs tout en minimisant la survenue d'échecs, contrairement aux méthodes GCRL classiques. Enfin, nous menons des études d'ablation approfondies afin de valider nos choix de conception, d'analyser les modes d'échec et de dégager des perspectives pour les travaux futurs. Pour conclure, nous proposons une discussion mettant en lumière plusieurs pistes d'amélioration des différents composants de notre architecture d'exploration sécurisée. Nous examinons également comment l'approche proposée pourrait être transférée à des systèmes robotiques réels dans de futurs travaux, et identifions une direction de recherche visant à établir des garanties théoriques, potentiellement porteuses de nouvelles perspectives, dans un cadre restreint, tel qu'un environnement tabulaire correspondant à une version discrétisée d'un environnement robotique simulé.

In this thesis, we aim to bridge the gap between reinforcement learning (RL) and robotic control. Reinforcement learning, and especially goal-conditioned reinforcement learning (GCRL), enables the design of controllers capable of handling diverse tasks, exploring environments, and adapting behaviors. However, RL fundamentally relies on trial-and-error learning. While this approach is acceptable in simulation, it can lead to catastrophic consequences in real-world settings, where an error made by a robot may result in self-damage or harm to people. Given that RL is a general framework capable of addressing a wide range of problems with minimal prior assumptions, we adopt RL as our starting point and incorporate broad, minimally restrictive control-theoretic priors to provide probabilistic safety guarantees. To address this problem, we propose a general agent architecture designed for safe exploration and safe learning. It comprises three components: (i) a goal-conditioned (GC) learning process, (ii) a safety learning process, and (iii) a switching mechanism that determines which policy generates the current action based on the present context, namely, the state of the environment and the agent's associated safety confidence level. First, during a pretraining phase, we use safe reinforcement learning (safe RL) and distributional reinforcement learning (distributional RL) methods to learn a safety policy that actively avoids failures across diverse situations. We train distributional safety critics that estimate the risk associated with different states and actions. Second, during a safe exploration phase, an action-selection mechanism leverages these learned distributional safety critics to arbitrate between the safety policy and a goal-conditioned (GC) policy. This mechanism ensures safety by switching to the safety policy whenever the estimated risk exceeds a predefined threshold. In a first approach, called Learning to Explore when Mistakes are Not Allowed (LEMNA), we estimate during the pretraining a set of viable states in the sense of Wieber, and we restrict learning during the safe exploration phase to the GC policy only. In a subsequent approach, called SenseOfRisk, we leverage epistemic uncertainty to avoid highly uncertain regions during safe exploration, which substantially reduces the required pretraining budget and enables joint learning of both goal-conditioned and safety policies. We evaluate our approach in simulated environments and show that it achieves broad coverage of the goal space while minimizing the occurrence of failures, in stark contrast to standard GCRL methods. Finally, we conduct extensive ablation studies to confirm our design choices, analyze failure modes and provide insights for future research directions. Finally, we provide a discussion outlining several potential improvements to the components of our safe exploration architecture. We further examine how the proposed approach could be transferred to real robotic systems in future work, and we identify a research direction aimed at establishing theoretical guarantees, potentially yielding new insights, in a restricted setting such as a tabular environment corresponding to a discretized simulated robotic environment.