Teaching Robots Behaviors Using Spoken Language in Rich and Open Scenarios

par Victor Paléologue

Thèse de doctorat en Robotique

Sous la direction de Mohamed Chetouani et de Amit kumar Pandey.

Le président du jury était Raja Chatila.

Le jury était composé de Peter Ford Dominey.

Les rapporteurs étaient Gérard Bailly, Tony Belpaeme.

  • Titre traduit

    Enseignement de comportements aux robots par le langage parlé dans des scénarios riches et ouverts


  • Résumé

    Des robots sociaux tels que Pepper sont déjà présents "dans la nature". Leur comportements sont adaptés à chaque cas d'usage par des experts. Permettre au grand public d'enseigner de nouveaux comportements pourrait mener à une meilleure adaptation à moindre coût. Dans cette thèse nous étudions un système cognitif et des comportements robotiques permettant à des utilisateurs de Pepper à domicile de composer de nouveaux comportements à partir de comportements existants, par le langage parlé. Les domiciles sont des mondes ouverts qui ne peuvent pas être prédéterminés. Pepper doit donc, en plus d'apprendre de nouveaux comportements, être capable de découvrir son environnement, et de s'y rendre utile ou de divertir : c'est un scénario riche. L'enseignement de comportements que nous démontrons s'effectue donc dans ces conditions uniques : par le seul langage parlé, dans des scénarios riches et ouverts, et sur un robot Pepper standard. Grâce à la transcription automatique de la parole et au traitement automatique du langage, notre système reconnaît les enseignements de comportement que nous n'avions pas prédéterminés. Les nouveaux comportements peuvent solliciter des entités qui auraient été appris dans d'autres contextes, pour les accepter et s'en servir comme paramètres. Par des expériences de complexité croissante, nous montrons que des conflits entre les comportements apparaissent dans les scénarios riches, et proposons de les résoudre à l'aide de planification de tâche et de règles de priorités. Nos résultats reposent sur des méthodes qualitatives et quantitatives et soulignent les limitations de notre solution, ainsi que les nouvelles applications qu'elle rend possible.


  • Résumé

    Social robots like Pepper are already found "in the wild". Their behaviors must be adapted for each use case by experts. Enabling the general public to teach new behaviors to robots may lead to better adaptation at lesser cost. In this thesis, we study a cognitive system and a set of robotic behaviors allowing home users of Pepper robots to teach new behaviors as a composition of existing behaviors, using solely the spoken language. Homes are open worlds and are unpredictable. In open scenarios, a home social robot should learn about its environment. The purpose of such a robot is not restricted to learning new behaviors or about the environment: it should provide entertainment or utility, and therefore support rich scenarios. We demonstrate the teaching of behaviors in these unique conditions: the teaching is achieved by the spoken language on Pepper robots deployed in homes, with no extra device and using its standard system, in a rich and open scenario. Using automatic speech transcription and natural language processing, our system recognizes unpredicted teachings of new behaviors, and a explicit requests to perform them. The new behaviors may invoke existing behaviors parametrized with objects learned in other contexts, and may be defined as parametric. Through experiments of growing complexity, we show conflicts between behaviors in rich scenarios, and propose a solution based on symbolic task planning and priorization rules to resolve them. The results rely on qualitative and quantitative analysis and highlight the limitations of our solution, but also the new applications it enables.


Il est disponible au sein de la bibliothèque de l'établissement de soutenance.

Consulter en bibliothèque

La version de soutenance existe

Où se trouve cette thèse\u00a0?

  • Bibliothèque : Sorbonne Université. Bibliothèque des thèses électroniques.
Voir dans le Sudoc, catalogue collectif des bibliothèques de l'enseignement supérieur et de la recherche.