Pré-entraînement non supervisé de représentations d'état dans un environnement sans récompense

Unsupervised pretraining of state representations in a rewardless environment

• Auteur / Autrice : Astrid Merckling
• Direction : Stéphane Doncieux, Nicolas Perrin-Gilbert, Alexandre Coninx
• Type : Thèse de doctorat
• Discipline(s) : Robotique
• Date : Soutenance le 22/09/2021
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris (1992-...)
• Partenaire(s) de recherche : Laboratoire : Institut des systèmes intelligents et de robotique (Paris ; 2009-....)
• Jury : Président / Présidente : Catherine Achard
• Jury : Examinateurs / Examinatrices : Alban Laflaquière
• Jury : Rapporteur / Rapporteuse : David Filliat, Alain Dutech

Mots clés

Mots clés contrôlés

Algorithmes

Prise de décision -- Modèles mathématiques

Apprentissage non supervisé (intelligence artificielle)

Apprentissage par renforcement (intelligence artificielle)

Mots clés libres

Apprentissage de représentation d'état

Pré-entraînement

Exploration

Apprentissage non supervisé

Apprentissage par renforcement profond

Robotique

State representation learning

Pretraining

Exploration

Unsupervised learning

Deep reinforcement learning

Robotics

Résumé

Cette thèse vise à étendre les capacités de l'apprentissage de représentation d'état (state representation learning, SRL) afin d'aider la mise à l'échelle des algorithmes d'apprentissage par renforcement profond (deep reinforcement learning, DRL) aux tâches de contrôle continu avec des observations sensorielles à haute dimension (en particulier des images). Le SRL permet d'améliorer les performances des algorithmes de DRL en leur transmettant de meilleures entrées que celles apprises à partir de zéro avec des stratégies de bout-en-bout. Plus précisément, cette thèse aborde le problème de l'estimation d'état à la manière d'un pré-entraînement profond non supervisé de représentations d'état sans récompense. Ces représentations doivent vérifier certaines propriétés pour permettre l'application correcte du bootstrapping et d'autres mécanismes de prises de décisions communs à l'apprentissage supervisé, comme être de faible dimension et garantir la cohérence locale et la topologie (ou connectivité) de l'environnement, ce que nous chercherons à réaliser à travers les modèles pré-entraînés avec les deux algorithmes de SRL proposés dans cette thèse.

This thesis seeks to extend the capabilities of state representation learning (SRL) to help scale deep reinforcement learning (DRL) algorithms to continuous control tasks with high-dimensional sensory observations (such as images). SRL allows to improve the performance of DRL by providing it with better inputs than the input embeddings learned from scratch with end-to-end strategies. Specifically, this thesis addresses the problem of performing state estimation in the manner of deep unsupervised pretraining of state representations without reward. These representations must verify certain properties to allow for the correct application of bootstrapping and other decision making mechanisms common to supervised learning, such as being low-dimensional and guaranteeing the local consistency and topology (or connectivity) of the environment, which we will seek to achieve through the models pretrained with the two SRL algorithms proposed in this thesis.