Agents autonomes avec apprentissage par renforcement profond guidés par le langage

Language-guided autonomous deep reinforcement learning agents

• Auteur / Autrice : Thomas Carta
• Direction : Pierre-Yves Oudeyer, Olivier Sigaud
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 27/09/2021
• Etablissement(s) : Bordeaux
• Ecole(s) doctorale(s) : École doctorale de mathématiques et informatique
• Partenaire(s) de recherche : Laboratoire : Institut national de recherche en informatique et en automatique (France). Centre de recherche Inria de l'université de Bordeaux (Bordeaux)
• Partenaire(s) de recherche : Equipe de recherche : FLOWERS

Mots clés

Mots clés libres

Apprentissage profond

Language

Autonome

Deep reinforcement learning

Language

Autonomous

Résumé

Ce doctorat s'appuiera sur les récentes architectures RL profondes autonomes guidées par le langage, en particulier IMAGINE (Colas et al. 2020) et DECSTR (Akakzia et al. 2021), et visera à remédier à leurs limites actuelles. Une première limite a été de limiter l'agent à l'utilisation de phrases simples (par exemple 'saisir le cube vert'), limitant les buts à des 'buts instantanés' : des buts dont la fonction d'atteinte correspondante ne nécessite que l'observation de l'état actuel du monde et de l'agent (par exemple 'aller à la cuisine', ou 'ouvrir la porte'). Cependant, les humains utilisent souvent des 'buts étendus dans le temps', associés à des descriptions linguistiques constituées d'ensembles de phrases, et correspondant à des récits (Bruner 1991). L'objectif principal du doctorat est d'étendre ces techniques à des ensembles de phrases qui décrivent des buts de manière structurée, avec des relations spatio-temporelles entre les actions, les événements, les observations. Une première approche que nous allons considérer sera basée sur l'utilisation de transformers [Vaswani et al. 2017, Loynd 2020], connus pour avoir d'excellentes propriétés pour l'apprentissage de représentations qui peuvent gérer des dépendances temporelles longues dans des tâches séquentielles, mais encore inexplorés dans le contexte de l'apprentissage par renforcement profond guidé par le langage. Nous envisagerons également de combiner les transformateurs avec une décomposition modulaire centrée sur les disponibilités des scènes telles que perçues par l'agent (Karch et al., 2020). Nous étudierons comment de tels transformers multimodaux centrés sur les disponibilités peuvent permettre l'apprentissage efficace de classes plus importantes de significations spatio-temporelles de langage/narration que celles considérées jusqu'à présent. Nous explorerons également des approches alternatives telles que les Deep Sets et les réseaux neuronaux graphiques. Une deuxième limite est que les buts/tâches considérés jusqu'à présent étaient purement comportementaux : cependant, dans de nombreuses applications, les tâches consistent à collecter des informations (par exemple : ' Explorez ce bâtiment et dites-moi combien d'objets bleus il y a '). Nous étudierons ici comment de telles tâches de collecte d'informations peuvent être réalisées en dotant les agents d'une mémoire à court terme leur permettant d'encoder et d'interroger les informations découvertes lors de l'exécution d'une tâche. Notre approche s'appuiera sur l'utilisation de graphes de connaissances, qui se sont révélés très prometteurs dans des travaux récents impliquant la RL profonde dans des jeux de fiction interactifs (Hausknecht et al., 2019 ; Adhikari et al., 2020), permettant de conditionner les politiques de RL avec des incorporations de graphes de connaissances. Une autre limite des approches actuelles a été une interaction simpliste avec le 'social pair' : ici, nous visons à étudier et à permettre une interaction linguistique dynamique bidirectionnelle, où l'agent peut poser des questions aux utilisateurs humains pour obtenir de l'aide dans l'apprentissage et l'exploration, et pour donner du sens aux explications linguistiques, par exemple pour mettre à jour le modèle du monde (éventuellement sous la forme d'un graphe de connaissances) ou pour décider quel objectif ou quelles actions explorer. Inversement, nous chercherons à permettre à l'agent de répondre aux questions des utilisateurs sur ce qu'il a découvert lorsque les tâches consistent à collecter des informations. Ceci constituerait une forme d'exploration coopérative, où l'agent et l'humain peuvent prendre l'initiative de se transmettre des informations et des questions. Méthodologie et outils expérimentaux: les expériences seront réalisées avec des agents incarnés simulés en utilisant des environnements tels que Baby AI, pyBullet, ou Minecraft/Malmo. L'ensemble du code sera publié en open-source et partagé avec la communauté scientifique. Ce projet bénéficiera de l'accès au supercalculateur Jean Zay, pour lequel l'équipe Flowers a obtenu un budget de 2 millions d'heures de GPU et CPU à partir de 2021.

This Ph.D. will build on recent language-guided autonomous deep RL architectures, in particular, IMAGINE (Colas et al. 2020) and DECSTR (Akakzia et al. 2021), and aim to address their current limits. A first limit has been that the agent was limited to using simple sentences (e.g. “grasp green cube”), limiting goals to be “snapshot goals”: goals whose corresponding goal-achievement function only requires to observe the current state of the world and of the agent (e.g. “go to the kitchen”, or “open the door”). However, humans often use “time-extended goals”, associated to language descriptions consisting of sets of sentences, and corresponding to narratives (Bruner 1991). The core objective of the Ph.D. is to extend these techniques to sets of sentences that describe goals in a structured way, with Spatio-temporal relationships between actions, events, observations. That will allow the agent to understand narratives such as full explanations/instructions/plans provided by humans (e.g. 'Look for type A objects first, then find a place to hide them or if you meet a human, give them what you have found').A first approach we will consider will be based on using transformers [Vaswani et al. 2017, Loynd 2020], known to have excellent properties for learning representations that can handle long time dependencies in sequential tasks, but yet unexplored in the context of language-guided deep reinforcement learning. We will also consider combining transformers with affordance-centered modular decomposition of scenes as perceived by the agent (Karch et al., 2020). We will study how such affordance-centered multimodal transformers can enable sample efficient learning of larger classes of spatio-temporal language/narrative meanings than those considered so far. We will also explore alternative approaches such as Deep Sets and Graph Neural Networks. A second limit has been that goals/tasks considered so far have been purely behavioural: however, in many applications, tasks consist in information gathering (e.g. « Explore this building and tell me how many blue objects there are »). Here we will study how such information gathering tasks can be achieved by augmenting agents with a short-term memory enabling them to encode and query the information discovered while executing a task. Our approach will rely on using knowledge graphs, shown to be very promising in recent work involving deep RL in interactive fiction games (Hausknecht et al., 2019; Adhikari et al., 2020), enabling to condition RL policies with knowledge graph embeddings. Another limit of current approaches has been a simplistic interaction with the social peer: here we aim to study and enable bi-directional dynamic language interaction, where the agent can ask questions to human users to get help in learning and exploration, and to make sense of linguistic explanations, e.g. for updating the world model (possibly in the form of a knowledge graph) or for deciding which goal or actions to explore. Reversely, we will aim to enable the agent to respond to questions from the users about what it has discovered when tasks consist of information gathering tasks. This would constitute a form of cooperative exploration, where both the agent and the human can take the initiative to transmit information and questions to each other. Experimental methodology and tools. Experiments will be made with simulated embodied agents using environments such as Baby AI, pyBullet, or Minecraft/Malmo. All code will be released open-source and shared with the scientific community. This project will benefit from access to the supercomputer Jean Zay, for which the Flowers team obtained a budget of 2 million hours of GPU and CPU starting from 2021.