Self-taught robots : autonomous and weakly-supervised learning for robotic manipulation

Robots autodidactes : apprentissage autonome et faiblement supervisé pour la manipulation robotique

• Auteur / Autrice : Minttu Alakuijala
• Direction : Jean Ponce, Julien Mairal
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 13/12/2022
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : École doctorale Sciences mathématiques de Paris centre (Paris ; 2000-....)
• Partenaire(s) de recherche : Laboratoire : École normale supérieure (Paris ; 1985-....). Département d'informatique
• Partenaire(s) de recherche : Equipe de recherche : Équipe de recherche Models of visual object recognition and scene understanding (Paris)
• Partenaire(s) de recherche : établissement de préparation de la thèse : École normale supérieure (Paris ; 1985-....)
• Jury : Président / Présidente : François Chaumette
• Jury : Examinateurs / Examinatrices : Jean Ponce, Julien Mairal, François Chaumette, Ludovic Righetti, Nicolas Mansard, Cordelia Schmid
• Jury : Rapporteurs / Rapporteuses : Ludovic Righetti, Nicolas Mansard

Mots clés

Mots clés contrôlés

Informatique

Mots clés libres

Apprentissage par renforcement

Prise robotique

Compréhension vidéo

Apprentissage par démonstration

Reinforcement learning

Robotic grasping

Video understanding

Learning from demonstration

Résumé

La commande robotique appris à partir de données n'a pas encore eu d'impact à grande échelle dans le monde réel. L'une des principales limitations est l'accès aux données: il est difficile de trouver des exemples d'entraînement annotés sur Internet, et la collecte de données dans des environnements physiques est limitée par le fonctionnement du robot en temps réel. Cette thèse présente plusieurs façons d'exploiter des sources de données externes, de démonstrations de tâches aux tutoriels vidéo, pour relever le défi de la lenteur de la collecte de données et ainsi accélérer l'apprentissage des tâches de manipulation robotique. Notre argument central est que les avancées dans les domaines connexes de la vision par ordinateur, du traitement du signal, du traitement du langage naturel, des l'apprentissage par imitation et par renforcement profond peuvent aider à ouvrir la voie à des agents robotiques plus adaptatifs. C'est particulièrement le cas pour le domaine de la manipulation dans le monde réel, en dehors de conditions d'exploitation étroitement contrôlées. En effet, la variété des matériaux, des formes et des tâches pose de grandes difficultés pour les stratégies de contrôle fixes et les approches classiques de commande prédictive qui nécessitent une modélisation physique précise. Notre objectif principal est donc de permettre une manipulation robotique plus performante et polyvalente grâce à des méthodes appris à partir des données.

Robotic control learned from data has yet to show large-scale impact in the real world. One of the main limitations is access to data: explicit training examples cannot be easily sourced and annotated on the internet but data collection is bounded by real-time robot operation. This thesis proposes several ways to leverage external data sources, from task demonstrations to full-length tutorial videos, to address the challenge of slow data collection and thus accelerate learning of robotic manipulation tasks. Our key argument is that advances in the related fields of computer vision, signal processing, natural language processing, imitation and deep reinforcement learning can help lead the way towards more adaptive robotic agents. In manipulation domains, in particular, the variety of materials, shapes and tasks present in the real world beyond tightly controlled operating conditions poses great difficulty for fixed control strategies and the precise physical modelling required by classical model-predictive control approaches. Our overarching goal is therefore to enable more capable and versatile robotic manipulation through data-driven methods.