Enseignement de comportements aux robots par le langage parlé dans des scénarios riches et ouverts

Teaching Robots Behaviors Using Spoken Language in Rich and Open Scenarios

• Auteur / Autrice : Victor Paléologue
• Direction : Mohamed Chetouani, Amit kumar Pandey
• Type : Thèse de doctorat
• Discipline(s) : Robotique
• Date : Soutenance le 20/12/2019
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Sciences mécaniques, acoustique, électronique et robotique de Paris (2000-....)
• Partenaire(s) de recherche : Laboratoire : Institut des systèmes intelligents et de robotique (Paris ; 2009-....)
• Jury : Président / Présidente : Raja Chatila
• Jury : Examinateurs / Examinatrices : Peter Ford Dominey
• Jury : Rapporteurs / Rapporteuses : Gérard Bailly, Tony Belpaeme

Mots clés

Mots clés contrôlés

Apprentissage interactif

Apprentissage automatique

Robots humanoïdes

Interaction homme-robot

Mots clés libres

Interaction homme-robot

Systèmes cognitifs

Apprentissage automatique

Ontologie

Apprentissage interactif

Robot autonome

Robotique sociale

Human-robot interaction

Interactive robot learning

Social robotics

Résumé

Des robots sociaux tels que Pepper sont déjà présents ''dans la nature''. Leur comportements sont adaptés à chaque cas d'usage par des experts. Permettre au grand public d'enseigner de nouveaux comportements pourrait mener à une meilleure adaptation à moindre coût. Dans cette thèse nous étudions un système cognitif et des comportements robotiques permettant à des utilisateurs de Pepper à domicile de composer de nouveaux comportements à partir de comportements existants, par le langage parlé. Les domiciles sont des mondes ouverts qui ne peuvent pas être prédéterminés. Pepper doit donc, en plus d'apprendre de nouveaux comportements, être capable de découvrir son environnement, et de s'y rendre utile ou de divertir : c'est un scénario riche. L'enseignement de comportements que nous démontrons s'effectue donc dans ces conditions uniques : par le seul langage parlé, dans des scénarios riches et ouverts, et sur un robot Pepper standard. Grâce à la transcription automatique de la parole et au traitement automatique du langage, notre système reconnaît les enseignements de comportement que nous n'avions pas prédéterminés. Les nouveaux comportements peuvent solliciter des entités qui auraient été appris dans d'autres contextes, pour les accepter et s'en servir comme paramètres. Par des expériences de complexité croissante, nous montrons que des conflits entre les comportements apparaissent dans les scénarios riches, et proposons de les résoudre à l'aide de planification de tâche et de règles de priorités. Nos résultats reposent sur des méthodes qualitatives et quantitatives et soulignent les limitations de notre solution, ainsi que les nouvelles applications qu'elle rend possible.

Social robots like Pepper are already found ''in the wild''. Their behaviors must be adapted for each use case by experts. Enabling the general public to teach new behaviors to robots may lead to better adaptation at lesser cost. In this thesis, we study a cognitive system and a set of robotic behaviors allowing home users of Pepper robots to teach new behaviors as a composition of existing behaviors, using solely the spoken language. Homes are open worlds and are unpredictable. In open scenarios, a home social robot should learn about its environment. The purpose of such a robot is not restricted to learning new behaviors or about the environment: it should provide entertainment or utility, and therefore support rich scenarios. We demonstrate the teaching of behaviors in these unique conditions: the teaching is achieved by the spoken language on Pepper robots deployed in homes, with no extra device and using its standard system, in a rich and open scenario. Using automatic speech transcription and natural language processing, our system recognizes unpredicted teachings of new behaviors, and a explicit requests to perform them. The new behaviors may invoke existing behaviors parametrized with objects learned in other contexts, and may be defined as parametric. Through experiments of growing complexity, we show conflicts between behaviors in rich scenarios, and propose a solution based on symbolic task planning and priorization rules to resolve them. The results rely on qualitative and quantitative analysis and highlight the limitations of our solution, but also the new applications it enables.