Apprentissage de politiques multi-tâches pour la robotique

Learning multi-task policies for robotics

• Auteur / Autrice : Elliot Chane-sane
• Direction : Cordelia Schmid, Ivan Laptev
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le ; Soutenance le 06/09/2023
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : École doctorale Sciences mathématiques de Paris centre
• Partenaire(s) de recherche : Laboratoire : DIENS - Département d'informatique de l'École normale supérieure
• Partenaire(s) de recherche : Equipe de recherche : WILLOW
• Partenaire(s) de recherche : établissement opérateur d'inscription : Ecole normale supérieure
• Jury : Président / Présidente : Fabien Moutarde
• Jury : Examinateurs / Examinatrices : Cordelia Schmid, Ivan Laptev, Nicolas Mansard, David Filliat, Christian Wolf
• Jury : Rapporteur / Rapporteuse : Nicolas Mansard, David Filliat

Mots clés

Mots clés libres

Apprentissage profond

Apprentissage par renforcement

Vision par ordinateur

Robotique

Deep learning

Reinforcement learning

Computer vision

Robotics

Résumé

Le développement de robots généralistes capables d'accomplir une vaste gamme de tâches présente un énorme potentiel pour alléger la charge de travail humain dans des tâches physiquement exigeantes, dangereuses ou fastidieuses. Malgré les études récentes sur l'utilisation de l'apprentissage profond pour le contrôle des robots, dans l'espoir de réaliser des avancées comparables à celles observées dans des domaines tels que la vision ou la compréhension du langage, le développement de robots polyvalents de cette nature est demeuré une entreprise complexe à concrétiser. Le contraste entre les progrès de l'apprentissage robotique par rapport à d'autres domaines de l'intelligence artificielle peut être attribué au manque de données disponibles sur Internet pouvant être directement exploitées pour l'apprentissage des politiques. De surcroît, le processus de collecte et d'annotation de données spécifiquement destinées à la robotique est chronophage et spécifique à une configuration matérielle. Dans cette thèse, nous introduisons de nouvelles méthodes pour l'apprentissage de politiques robotiques multitâches, offrant des solutions prometteuses pour relever ces défis. Notre première contribution est un nouvel algorithme d'apprentissage par renforcement qui apprend des politiques de contrôle robotique en interagissant avec l'environnement pour atteindre des configurations souhaitées. Le fait de formuler une tâche comme une configuration à atteindre présente l'avantage de permettre la définition de nombreuses tâches sans nécessiter de définir des fonctions de récompense spécifiques pour chaque tâche. Notre approche consiste à entraîner une politique de haut niveau qui utilise des sous-objectifs imaginés pour guider l'apprentissage, lesquels sont ensuite abandonnés après l'achèvement de l'entraînement. Notre approche démontre une meilleure efficacité d'échantillonnage et peut résoudre des tâches temporellement étendues plus complexes, surpassant les travaux antérieurs sur des problèmes de locomotion complexes et de manipulations à partir d'observations visuelles. Définir une tâche au travers de configurations à atteindre limite l'éventail de tâches possibles et peut poser des difficultés pour les utilisateurs non experts. Notre deuxième contribution est une méthode d'apprentissage de politiques capables de suivre des instructions vidéo humaines pour la manipulation robotique multitâche basée sur la vision. Cette approche offre une manière plus accessible de communiquer la tâche souhaitée au robot, tout en ouvrant la possibilité de généralisation à des tâches pour lesquelles la politique n'a pas été spécifiquement entraînée. À partir de trajectoires de robot collectées au préalable, nous entraînons une politique multitâche en la conditionnant sur les vidéos correspondants aux séquences d'images capturées par la caméra du robot. Ensuite, nous conditionnons la politique avec une démonstration vidéo humaine en utilisant une fonction de similarité entre les vidéos apprises à partir d'une vaste collection de vidéos humaines. Notre approche permet le contrôle des robots à l'aide de démonstrations humaines de manière non supervisée, car nous n'utilisons pas de trajectoires de robot appariées à des instructions humaines lors de l'entraînement. Cela élimine le processus fastidieux d'annotation humaine ou de conception de récompenses pour chaque tâche robotique que nous souhaitons aborder.

Developing generalist robots capable of performing a wide range of tasks holds great potential for minimizing human labor in physically demanding, dangerous, and tedious tasks. Although deep learning has been used in robot control in recent years, with the goal of achieving similar advancements as those observed in fields such as vision or language understanding, the development of such versatile robots has remained elusive. The discrepancy between the progress of robot learning compared to other domains of machine learning can be attributed to the scarcity of readily available data from the internet that can be directly utilized for policy learning. Additionally, the process of collecting and annotating data specifically for robots is time-consuming and specific to a hardware configuration. In this thesis, we introduce novel methods for learning multi-task robot policies, offering promising solutions to address these challenges. Our first contribution is Reinforcement learning with Imagined Subgoals (RIS), a novel reinforcement learning algorithm that learns goal-reaching policies through online interactions with its environment to achieve desired goal configurations. Formulating tasks with the goal to reach has the advantage of allowing for a wide range of tasks to be defined without the need for task-specific rewards. Our approach involves training a high-level policy that leverages imagined subgoals to guide policy learning, which are subsequently discarded after training completion. Our approach demonstrates higher sample efficiency and the ability to solve more complex temporally extended tasks, outperforming prior works on challenging robotic locomotion and vision-based manipulation tasks. Using only goal configurations to define tasks limits tasks to goal-reaching objectives and may pose challenges for non-expert users to provide specific configurations. Our second contribution is Video-conditioned Policy learning (ViP), a method for learning robot policies that can follow human video instructions for multi-task vision-based robotic manipulation. This approach provides a user-friendly way for non-experts to communicate the desired task to the robot, goes beyond basic goal-reaching skills, and opens up opportunities to generalize to tasks that the policy was not specifically trained on. Using offline robot trajectories, we train a multi-task policy by incorporating corresponding robot videos, capturing the sequence of camera images, as conditioning information. Next, we prompt the policy with a human video demonstration, leveraging a similarity function between videos learned from a large collection of human videos. Our approach enables robot control by human demonstrations in a zero-shot manner: we don’t rely on paired robot trajectories and human instructions during training, eliminating the tedious process of meticulous human annotation or reward shaping for every robot task we aim to tackle.