Thèse soutenue

Des robots qui voient : apprentissage de comportements guidés par la vision
FR  |  
EN
Accès à la thèse
Auteur / Autrice : Alexander Pashevich
Direction : Cordelia Schmid
Type : Thèse de doctorat
Discipline(s) : Informatique
Date : Soutenance le 29/09/2021
Etablissement(s) : Université Grenoble Alpes
Ecole(s) doctorale(s) : École doctorale mathématiques, sciences et technologies de l'information, informatique (Grenoble ; 199.-....)
Partenaire(s) de recherche : Laboratoire : Laboratoire Jean Kuntzmann (Grenoble)
Jury : Président / Présidente : James L Crowley
Examinateurs / Examinatrices : Ivan Laptev, Jean-Paul Laumond, Pierre-Yves Oudeyer
Rapporteurs / Rapporteuses : Christian Wolf, Nicolas Mansard

Résumé

FR  |  
EN

Récemment, la vision par ordinateur et l'apprentissage automatique ont fait des progrès significatifs qui pourraient améliorer le contrôle des robots dans les environnements complexes. Dans ce manuscrit, nous introduisons de nouvelles méthodes d'apprentissage de comportements des robots. Nous proposons également une nouvelle approche pour la tâche d'apprentissage du contrôle guidé par le langage naturel.La disponibilité des données reste l’un des défis principaux pour les méthodes d’apprentissage en robotique. Néanmoins, bien que la collecte d’un ensemble de données à partir de robots réels soit coûteuse et rarement extensible, les simulateurs offrent aujourd’hui une alternative attrayante. Le comportement appris en simulation, cependant, ne se transfère généralement pas adéquatement aux scènes réelles à cause de la difference principale entre les données réelles et synthétiques. Pour faire face à cette limitation, nous proposons dans cette thèse une méthode qui permet un apprentissage de comportements pour les robots réels en utilisant uniquement des données synthétiques. Nous démontrons que notre approche aboutit à d'excellents résultats sur une gamme de tâches de manipulation dans un milieu réel. Les approches d'apprentissage peuvent résoudre des tâches complexes directement à base des images, mais nécessitent des connaissances spécifiques au domaine pour leur supervision. Nous proposons deux méthodes d’apprentissage des comportements guidés par la vision compte tenu d’une supervision limitée. Premièrement, nous proposons une approche d'apprentissage par renforcement qui apprend à combiner des compétences primitives. Deuxièmement, nous proposons une nouvelle méthode pour résoudre des tâches définies avec un exemple de solution qui utilise une procédure innovante de désassemblage. Nous démontrons la polyvalence de nos méthodes dans des contextes réels complexes, y compris des occlusions et des changements dynamiques.L'interaction et la navigation définies par le langage naturel dans des environnements dynamiques posent des défis importants pour les méthodes d'apprentissage. Pour gérer une longue séquence de sous-tâches, nous proposons une nouvelle méthode qui garde l’historique complet des observations et des actions. Nous proposons également d'utiliser des instructions synthétiques pour améliorer la compréhension des instructions humaines complexes.Pour toutes nos contributions, nous avons comparé nos approches avec les techniques existantes et nous montrons que nos résultats sont significativement meilleurs que ceux de l'état de l'art.