Une approche modulaire pour l’apprentissage par imitation générique à l’aide d’une représentation spatio-temporelle des démonstrations basée sur les graphes : application à l’apprentissage robotique

A Modular Framework for Generic Imitation Learning using Graph-based Spatio-Temporal Representation of Demonstrations : application to Robotic Learning

• Auteur / Autrice : Yassine El Manyari
• Direction : Patrick Le Callet, Laurent Dollé
• Type : Thèse de doctorat
• Discipline(s) : Informatique appliquée
• Date : Soutenance le 22/06/2023
• Etablissement(s) : Nantes Université
• Ecole(s) doctorale(s) : École doctorale Mathématiques et Sciences et Technologies du numérique, de l’Information et de la Communication (Nantes ; 2022-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire des Sciences du Numérique de Nantes
• Jury : Président / Présidente : David Filliat
• Jury : Examinateurs / Examinatrices : Mehdi Khamassi, Sylvain Lamprier, Silvia Rossi
• Jury : Rapporteurs / Rapporteuses : Olivier Bernard Henri Buffet, Alain Dutech

Mots clés

Mots clés contrôlés

Apprentissage automatique

Intelligence artificielle

Mots clés libres

Apprentissage par Imitation

Imitation par Observation

Apprentissage par Renforcement

Réseaux Neuronaux Graphiques

Modélisation Séquentielle

Imitation Learning

Imitation from Observation

Reinforcement Learning

Graph Neural Networks

Sequential modelling

Résumé

L’apprentissage par renforcement et l’apprentissage par imitation permettent aux robots d’apprendre à effectuer des tâches de manière autonome, sans avoir besoin d’instructions explicites. Cette thèse examine les deux méthodes et les intègre dans un cadre modulaire et générique pour résoudre le problème d’apprentissage par imitation à partir d’observations. L’approche est mise en œuvre en deux étapes, en commençant par apprendre un modèle de représentation qui capture les caractéristiques spatiales et temporelles des démonstrations observées, suivi de l’application d’un algorithme RL prêt à l’emploi avec une fonction de récompense générique pour apprendre la politique d’imitation. Les résultats expérimentaux indiquent que la méthode proposée surpasse les méthodes de pointe et présente des capacités de généralisation prometteuses pour une gamme de tâches de manipulation, dépassant les méthodes génératives dans la plupart des cas.

Reinforcement Learning and Imitation Learning allow robots to learn how to perform tasks independently, without the need for explicit instructions. This thesis examines both methods and integrates them into a modular and generic framework for solving the imitation learning from observation problem. The approach is implemented in two stages, beginning with learning a representation model that captures the spatial and temporal features of observed demonstrations, followed by applying an off-the-shelf RL algorithm with a taskagnostic reward function to learn the imitation policy. Experimental results indicate that the proposed method outperforms state-of-the-art methods and exhibits promising generalisation capabilities across a range of manipulation tasks, surpassing generative methods in most instances.