Génération automatique de curriculum pour apprenants artificiels

Automatic Curriculum Learning for Developmental Machine Learners

• Auteur / Autrice : Rémy Portelas
• Direction : Pierre-Yves Oudeyer, Katja Hofmann
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 11/02/2022
• Etablissement(s) : Bordeaux
• Ecole(s) doctorale(s) : École doctorale Mathématiques et informatique (Talence, Gironde ; 1991-....)
• Partenaire(s) de recherche : Laboratoire : Institut national de recherche en informatique et en automatique (France). Centre de recherche Inria de l'université de Bordeaux (Bordeaux)
• Partenaire(s) de recherche : Equipe de recherche : FLOWERS
• Jury : Président / Présidente : David Filliat
• Jury : Examinateurs / Examinatrices : Pierre-Yves Oudeyer, Tim Rocktäschel, Ann Nowé, Peter Stone, David Ha
• Jury : Rapporteurs / Rapporteuses : Tim Rocktäschel, Ann Nowé

Mots clés

Mots clés contrôlés

Apprentissage par renforcement (intelligence artificielle)

Apprentissage automatique

Intelligence artificielle

Mots clés libres

Apprentissage machine développemental

Intelligence artificielle

Motivations intrinsèques

Génération automatique de curriculum

Apprentissage profond

Apprentissage par renforcement

Developmental Machine Learning

Automatic Curriculum Learning

Deep Reinforcement Learning

Intrinsic Motivation

Machine Learning

Résumé

Un objectif de longue date du Machine Learning (ML) et de l'IA en général est de concevoir des agents autonomes capables d'interagir efficacement avec notre monde. Dans cette optique, s'inspirant de la nature interactive de l'apprentissage humain et animal, plusieurs axes de travaux se sont concentrés sur la construction d'agents décisionnels incarnés dans des environnements réels ou virtuels. En moins d'une décennie, le Deep Reinforcement Learning (DRL) s'est imposé comme l'un des ensembles de techniques les plus puissants pour former de tels agents autonomes. Le DRL est basé sur la maximisation de fonctions de récompense définies par des experts qui guident l'apprentissage d'un agent vers une tâche ou un ensemble de tâches cible prédéfinies. En parallèle, la Robotique Développementale a travaillé sur la modélisation des théories du développement cognitif et de leur intégration dans des robots réels ou simulés. Un concept central développé dans cette littérature est la notion de motivation intrinsèque : les robots développementaux explorent et interagissent avec leur environnement selon des objectifs auto-sélectionnés dans un mode d'apprentissage ouvert. Récemment, des idées similaires d'auto-motivation et d'apprentissage ouvert ont commencé à se développer au sein de la communauté DRL, tandis que la Robotique Développementale a commencé à considérer les méthodes DRL dans leurs systèmes de développement. Nous proposons de désigner cette convergence de travaux sous le nom de Developmental Machine Learning. Developmental ML regroupe des travaux sur la construction d'agents autonomes incarnés équipés de mécanismes de motivation intrinsèque façonnant des trajectoires d'apprentissage ouvertes. La présente recherche vise à contribuer dans ce domaine émergent. Plus précisément, la présente recherche se concentre sur la proposition et l'évaluation des performances d'un bloc algorithmique de base de tels apprenants: les méthodes d'apprentissage automatique de curriculum (ACL). Les algorithmes ACL façonnent les trajectoires d'apprentissage des agents en les challengeant avec des tâches adaptées à leurs compétences. Ces dernières années, ils ont été utilisés pour améliorer la vitesse d’apprentissage et les performances asymptotiques, pour organiser l'exploration, pour encourager la généralisation ou pour résoudre des problèmes de récompense clairsemée, entre autres. Malgré un succès impressionnant dans les scénarios d'apprentissage supervisé traditionnels (par exemple, la classification d'images), les applications à grande échelle et dans le monde réel des apprenants automatiques incarnés sont encore à venir. La présente recherche vise à contribuer à la création de tels agents en étudiant comment guider leurs apprentissage de manière autonome.

A long-standing goal of Machine Learning (ML) and AI at large is to design autonomous agents able to efficiently interact with our world. Towards this, taking inspirations from the interactive nature of human and animal learning, several lines of works focused on building decision making agents embodied in real or virtual environments. In less than a decade, Deep Reinforcement Learning (DRL) established itself as one of the most powerful set of techniques to train such autonomous agents. DRL is based on the maximization of expert-defined reward functions that guide an agent’s learning towards a predefined target task or task set. In parallel, the Developmental Robotics field has been working on modelling cognitive development theories and integrating them into real or simulated robots. A core concept developed in this literature is the notion of intrinsic motivation: developmental robots explore and interact with their environment according to self-selected objectives in an open-ended learning fashion. Recently, similar ideas of self-motivation and open-ended learning started to grow within the DRL community, while the Developmental Robotics community started to consider DRL methods into their developmental systems. We propose to refer to this convergence of works as Developmental Machine Learning. Developmental ML regroups works on building embodied autonomous agents equipped with intrinsic-motivation mechanisms shaping open-ended learning trajectories. The present research aims to contribute within this emerging field. More specifically, the present research focuses on proposing and assessing the performance of a core algorithmic block of such developmental machine learners: Automatic Curriculum Learning (ACL) methods. ACL algorithms shape the learning trajectories of agents by challenging them with tasks adapted to their capacities. In recent years, they have been used to improve sample efficiency and asymptotic performance, to organize exploration, to encourage generalization or to solve sparse reward problems, among others. Despite impressive success in traditional supervised learning scenarios (e.g. image classification), large-scale and real-world applications of embodied machine learners are yet to come. The present research aims to contribute towards the creation of such agents by studying how to autonomously and efficiently scaffold them up to proficiency.