Transfert de compétences entre robots par abstraction d'état

Transfer learning between robots with state abstraction

• Auteur / Autrice : Samuel Beaussant-Daclinat
• Direction : Olivier Stasse
• Type : Projet de thèse
• Discipline(s) : Génie électrique,électronique et systèmes
• Date : Inscription en doctorat le 01/10/2020
• Etablissement(s) : Université Clermont Auvergne (2021-...)
• Ecole(s) doctorale(s) : Sciences pour l'Ingénieur
• Partenaire(s) de recherche : Laboratoire : Institut Pascal

Mots clés

Mots clés libres

Apprentissage par renforcement

Robotique

Apprentissage par transfert

Transfer Learning

Reinforcement Learning

Robotic

Résumé

L'apprentissage par renforcement a été appliqué avec succès à un large éventail de problèmes au cours des dernières années, démontrant à la fois sa polyvalence et son efficacité. Le domaine de la robotique en particulier a bénéficié des progrès considérables réalisés dans l'apprentissage par renforcement. Cependant, l'apprentissage d'un comportement performant nécessite un nombre important d'interactions avec l'environnement, ce qui est énergivore et chronophage. Cela est généralement dû au fait que le robot ne dispose pas d'informations préalables sur la tâche ou sa propre incarnation physique. En général, la méthode habituelle pour aborder et atténuer ce besoin important de données consiste à utiliser le transfert d'apprentissage, une méthode qui exploite l'expérience ou les connaissances préalables pour accélérer l'apprentissage d'une tâche distincte mais connexe. Cette approche est actuellement largement utilisée dans la vision par ordinateur basée sur l'apprentissage profond ou le traitement du langage naturel. Cependant, trouver une approche pratique et générale pour le pré-entrainement et le transfert d'apprentissage dans le contexte de l'apprentissage par renforcement reste un problème de recherche ouvert. Dans cette thèse, nous explorons le transfert d'apprentissage dans le contexte de l'apprentissage par renforcement dans le but spécifique de transférer des comportements d'un robot à un autre, même en présence de disparités morphologiques. En d'autres termes, nous souhaitons réutiliser les connaissances acquises par un robot (source) pour une tâche afin d'accélérer, voire d'éviter, le processus d'apprentissage d'un robot différent (cible) sur la même tâche. Nous mettons en évidence les défis particuliers posés par l'application du transfert d'apprentissage dans le contexte du transfert de compétences entre robots et proposons une méthode efficace pour aborder ces questions.

Despite numerous improvements regarding the effectiveness of ac{rl} methods in robotics, training from scratch still requires millions (or even tens of millions) of interactions with the environment to converge on high-performance behavior. In order to alleviate this huge need for data without losing performance, one promising avenue is ac{tl}. The aim of this thesis is to explore transfer learning in the context of RL, with the specific aim of transferring behaviors from one robot to another, even in the presence of morphological divergences or different state-action spaces. In particular, this thesis presents a process for reusing past knowledge acquired by a robot (source) on a task to accelerate (or even avoid) the learning process of a different robot (target) on the same task. The proposed method relies first on an unsupervised pre-training phase to learn a robot-agnostic latent space from trajectories collected on a set of robots. Then, it is possible to train a model within this space to solve a given task, in order to produce a task module that can be reused by any robot sharing this common feature space. In addition, this thesis tackles the problem of simulation-to-real-world adaptation when transferring a model trained in a simulator, with a focus on delay management, which is often overlook in the current literature. Indeed, we show that models oblivious to delay significantly drop in performance when tested on a physical robot, where the hardware and sensory system inevitably introduce delay. The approach developed is a simple but effective one for training agents to handle a user-defined range of delays. Through several robotic tasks and heterogeneous hardware platforms, both in simulation and on physical robots, this thesis shows the benefits of these approaches in terms of improved learning efficiency and performance. More specifically, we report zero-shot generalization in some instances, where performance after transfer is preserved. In the worst case, performance is recovered after a short adaptation on the target robot for a fraction of the training cost required to learn a policy with similar performance from scratch.