Donner au Robot les Capacités de Contrôler et d'évaluer sa Contribution dans le cadre d'une Action Jointe Humain-Robot

Endowing the Robot with the Abilities to Control and Evaluate its Contribution to a Human-Robot Joint Action

• Auteur / Autrice : Amandine Mayima
• Direction : Rachid Alami, Aurélie Clodic
• Type : Thèse de doctorat
• Discipline(s) : Informatique et Télécommunications
• Date : Soutenance le 29/10/2021
• Etablissement(s) : Toulouse, INSA
• Ecole(s) doctorale(s) : École doctorale Mathématiques, informatique et télécommunications
• Partenaire(s) de recherche : Laboratoire : LAAS - Laboratoire d'Analyse et d'Architecture des Systèmes - Laboratoire d'analyse et d'architecture des systèmes / LAAS
• Jury : Président / Présidente : Simon Lacroix
• Jury : Examinateurs / Examinatrices : Rachid Alami, Aurélie Clodic, Silvia Rossi, Peter Ford Dominey, Elisabeth Pacherie, Guy Hoffman
• Jury : Rapporteurs / Rapporteuses : Silvia Rossi, Peter Ford Dominey

Mots clés

Mots clés contrôlés

Interaction homme-robot

Mots clés libres

Interaction Homme-Robot

Action Jointe

Prise de décision

Qualité d'Interaction

Decision making

Human-Robot interaction

Joint Action

Quality of Interaction

Résumé

Dans le futur, les robots interagiront chaque jour un peu plus avec les humains et devront donc être dotés des capacités adéquates. Nous sommes encore loin de robots autonomes parmi les humains, capables de collaborer sans problème avec eux: le travail de cette thèse est une contribution qui rapproche un peu plus la communauté de cet objectif.Lorsque des personnes collaborent pour réaliser une tâche ensemble, de nombreux mécanismes cognitifs entrent en jeu, plus qu’il n’y paraît à première vue. Certains de ces mécanismes sont aussi activés quand un humain interagit avec un robot et non plus avec un autre humain, car ils sont essentiels à une collaboration réussie. Il est donc important que les roboticiens qui conçoivent des robots destinés à interagir étroitement avec les humains soient conscients de cela et qu’ainsi ils prennent en compte les états mentaux des humains et les fonctions sensori-motrices impliquées dans le contrôle et la fluidité de l'exécution des tâches collaboratives. Toutefois, cela ne signifie pas que les robots doivent être dotés de ces mêmes mécanismes, car être capable de collaborer avec les humains ne signifie pas les imiter. Ce qui est essentiel pour les roboticiens, c'est de comprendre comment les humains travaillent et de concevoir des robots qui s'adapter! ont.Ce manuscrit commence par une immersion dans la philosophie et la psychologie. Ensuite, nous explorons les modèles "croyance-désir-intention" et les architectures robotiques cognitives qui nous ont inspirés pour concevoir notre propre architecture dans laquelle, JAHRVIS -- la principale contribution de cette thèse -- au robot de, non seulement contrôler, mais aussi d'évaluer son action jointe avec un humain.Joint Action-based Human-aware supeRVISor (JAHRVIS) est ce que nous appelons un système de supervision, i.e., il prend les décisions haut niveau du robot, contrôle son comportement et tente de réagir aux imprévus, en tenant toujours compte de l'humain avec lequel il interagit. Il peut le faire en se basant sur les plans partagés qu’il génère, sa connaissance des états mentaux de l'humain et de l'état actuel de l'environnement et, les actions de l'humain. JAHRVIS est conçu de manière à être suffisamment générique pour gérer différents types de tâches.JAHRVIS ne se contente pas de contrôler la contribution du robot à une tâche collaborative, il essaie également d'évaluer si l'interaction se déroule bien ou non. C'est possible grâce à un ensemble de métriques et à une méthode pour les agréger que nous avons conçus. Nous affirmons que le fait de doter un robot de cette capacité lui permet d'améliorer et de rendre plus pertinent son processus de prise de décision. Dans les travaux futurs, cette granularité permettra au robot de savoir à quel niveau il doit agir lorsqu'une faible Qualité d'Interaction (QoI) est évaluée.JAHRVIS a été intégré dans une architecture robotique cognitive et déployé efficacement pour réaliser plusieurs tâches collaboratives. Ces tâches ont démontré les capacités du robot en matière de prise de vue, de planification, de représentation des connaissances avec la théorie de l'esprit, de manipulation et de communication.

Robots will interact more and more with humans in the future and thus will need to be endowed with the pertinent abilities. We are still far from having autonomous robots among humans and able to smoothly collaborate with them but the work of this thesis is a contribution bringing the community a bit closer to this goal.When humans collaborate to achieve a task together, numerous cognitive mechanisms come into play, more than we would have thought at first glance. Some of these mechanisms are also triggered in humans’ minds when they interact with robots as they are essential to a successful collaboration. Therefore, it is important for roboticists designing robots that will closely interact with humans to be aware of and take into account the humans mental states and sensorimotor functions involved in controlling and smoothing collaborative task performance. However, this does not imply that robots have to be endowed with the same mechanisms since being able to collaborate with humans does not mean to imitate them. What is key to roboticists is to understand how humans work and to design robots that will adapt.Consequently, this thesis starts with an immersion in philosophy and social and cognitive psychology. Then, we explore BDI and cognitive robotic architectures which have inspired us to design our own architecture in which, JAHRVIS — the main contribution of this thesis — endows a robot with the abilities not only to control, but also to evaluate its joint action with a human.Joint Action-based Human-aware supeRVISor (JAHRVIS) is what we call a supervision system, i.e., it embeds the robot high-level decisions, controls its behavior and tries to react to contingencies, always considering the human it is interacting with. It is able to do so by taking into account shared plans, human mental states, its knowledge about the current state of the environment, and human actions. JAHRVIS is designed in such a way that it is generic enough to handle various kinds of tasks.Not only JAHRVIS controls the robot contribution to a collaborative task, it also tries to evaluate if the interaction is going well or not. It is possible thanks to a set of metrics we have built and a method to aggregate them. We claim that having a robot with this ability allows it to enhance and make more pertinent its decision-making processes. In future work, this granularity will allow the robot to know precisely on what level it needs to act when a low Quality of Interaction (QoI) is assessed.JAHRVIS has been integrated in a cognitive robotic architecture and effectively deployed to achieve several collaborative and service tasks. These tasks demonstrated the robot’s abilities related to perspective-taking, planning, knowledge representation with theory of mind, manipulation, and communication.