Exploiter les modèles de langage et l'apprentissage par renforcement pour générer des instructions et interagir avec les robots

Leveraging language models and reinforcement learning for generating instructions and interacting with robots

• Auteur / Autrice : Mohamed Aissi
• Direction : Laure Soulier
• Type : Projet de thèse
• Discipline(s) : Sciences de l'ingénieur
• Date : Inscription en doctorat le 01/12/2023
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris (1992-...)
• Partenaire(s) de recherche : Laboratoire : Institut des Systèmes Intelligents et de Robotique

Mots clés

Mots clés libres

Generation de textes

Apprentissage par renforcement

Instructions pour robots

Text generation

Reinforcement learning;

Robot instructions

Résumé

Ce doctorat est fondé sur le projet européen PILLAR (2023-2027) qui vise à développer une nouvelle génération de robots capables de s'appuyer sur l'expérience acquise au cours de leur vie pour répondre aux souhaits de leurs concepteurs/utilisateurs humains dans des applications réelles. Les agents autonomes ont besoin de stratégies de raisonnement et de planification pour accomplir leurs tâches. La sémantique capturée par de grands modèles linguistiques peut améliorer le processus de décision à différents niveaux. Le langage naturel peut servir à construire et à clarifier la stratégie de planification, et donc les actions effectuées par un robot. Plusieurs travaux ont abordé l'identification des instructions en tant que représentation abstraite ou expression du langage naturel, mais la supervision de données limitées est souvent un défi. Dans cette thèse, nous envisageons de travailler sur la génération d'instructions en langage naturel et d'améliorer les modèles actuels. Notre objectif est d'améliorer la sémantique des objets afin d'identifier les actions/sous-actions les plus pertinentes et de concevoir des modèles hybrides combinant l'apprentissage par renforcement et les modèles de langage pour générer des instructions précises. Nous envisageons trois principaux défis de recherche : (1) l'apprentissage de représentations multimodales pour les instructions, (2) l'hybridation de l'apprentissage par renforcement et des modèles linguistiques pour des agents plus riches qui suivent les instructions, et (3) l'interaction proactive pour résoudre l'incertitude dans la génération d'instructions.

This PhD is founded by the PILLAR European project (2023-2027) which aims at developing a new generation of robots that can build on the experience acquired during the robots' lifetime to fulfill the wishes of their human designers/users in real-life applications. Autonomous agents require reasoning and planning strategies for performing tasks. The semantics captured by large language models can enhance the decision process at different levels. Natural language can serve for building and clarifying the planning strategy, and therefore the actions done by a robot. Several works have addressed instruction identification as abstract representation or natural language expression, but the limited data supervision is often a challenge. In this thesis, we envision working on the generation of natural language instructions and improving current models. Our objective is to enhance the semantics behind objects to identify the most relevant actions/sub-actions and design hybrid models combining reinforcement learning and language models to generate accurate instructions. We envision three main research challenges: (1) Multi-modal representation learning for instructions, (2) Hybridizing RL and LLMs for richer instruction-following agents, and (3) Proactive interaction for solving uncertainty in instruction generation.