Planification de tâches pour un robot collaboratif : théorie de l'esprit et anticipation des décisions et actions de l'humain

Human-aware robot task planning : theory of mind and anticipation of human decisions and actions

• Auteur / Autrice : Anthony Favier
• Direction : Rachid Alami
• Type : Thèse de doctorat
• Discipline(s) : Informatique et Télécommunications
• Date : Soutenance le 30/04/2024
• Etablissement(s) : Université de Toulouse (2023-....)
• Ecole(s) doctorale(s) : École doctorale Mathématiques, informatique et télécommunications (Toulouse)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'Analyse et d'Architecture des Systèmes (Toulouse ; 1968-....)
• Partenaire(s) de recherche : Etablissement délivrant conjointement le doctorat : Institut national polytechnique (Toulouse ; 1969-....)
• Jury : Président / Présidente : Simon Lacroix
• Jury : Examinateurs / Examinatrices : Rachid Alami, Simon Lacroix, Luca Iocchi, Catherine Pelachaud, Jean-Charles Fabre
• Jury : Rapporteurs / Rapporteuses : Julie Shah, Mohamed Chetouani

Mots clés

Mots clés contrôlés

Communication

Prise de décision

Mots clés libres

Collaboration Humain-Robot

Intéraction Humain-Robot

Décision

False beliefs

Adaptation

Parallélisme

Human-Robot Collaboration

Human-Robot Interaction

Decision-Making

False beliefs

Adaptation

Concurrency

Résumé

Bien que la collaboration humain-robot puisse être bénéfique, la plupart des robots actuels travaillent dans des espaces physiquement séparés de l'humain ou alors leurs capacités sont drastiquement limitées à proximité d'un humain. Ce travail vise à combler le fossé entre les capacités robotiques et les attentes humaines, en favorisant une nouvelle ère de collaboration transparente et intuitive entre les humains et les robots dans des environnements partagés pour réaliser à la fois des tâches industrielles, de services ou domestiques. Plus précisément, ce manuscrit présente une étude sur la prise de décision dans le contexte de la collaboration humain-robot, en particulier dans les domaines de la navigation et de la planification des tâches. D'abord, nous discutons de divers travaux en lien avec la Collaboration Humain-Robot afin de mieux comprendre le contexte de mon travail. Après une familiarisation avec le planificateur de tâches HATP/EHDA, je présente ma première contribution qui incorpore certains concepts de la Théorie De l'Esprit dans la planification de tâches. Certains modèles et algorithmes sont proposés et évalués pour mieux estimer et maintenir les connaissances de l'humain afin de mieux anticiper son comportement. Ainsi, nous pouvons identifier quand l'humain a une fausse connaissance d'un fait évalué comme pertinent pour la tâche. Dans ce cas, le robot peut informer l'humain de manière proactive pour corriger la fausse information ou le robot peut retarder volontairement ses actions afin qu'elles soient vu par l'humain. Les résultats montrent que ce schéma permet de maintenir efficacement les connaissances de l'humain et permet de résoudre une classe plus large de problèmes que HATP/EHDA tout en ne communiquant pas systématiquement. Ma deuxième contribution est une nouvelle approche de planification des tâches produisant une politique comportementale du robot assurant une collaboration fluide où l'humain a toujours une latitude de décision totale et où le robot se conforme toujours en parallèle à ces décisions. Cette approche est basée sur un modèle d'action conjointe simultanée et accommodante que nous avons conçu. Ce modèle, sous la forme d'un automate, tient compte de l'incontrôlabilité de l'humain et des signaux sociaux. Nous proposons également une nouvelle méthode d'évaluation et de sélection des plans basée sur l'estimation des préférences internes de l'humain concernant la tâche. Les résultats empiriques montrent que cette approche permet un comportement concourant du robot qui se conforme aux décisions et aux préférences en temps réel de l'humain.Pour valider l'approche précédente, nous avons mené une étude utilisateur à l'aide d'un simulateur spécialement développé à cet effet. Les participants ont été invités à collaborer dans plusieurs scénarios avec un robot simulé suivant les politiques produites par notre approche. Nous avons utilisé comme référence une approche opposée à la nôtre dans laquelle l'humain est forcé de se conformer aux choix du robot. Nous avons montré par une analyse statistique que notre approche permettait de satisfaire les préférences des humains de manière nettement plus satisfaisante. De même, nous avons montré que notre approche induit une interaction significativement plus positive, une collaboration plus adaptative et efficace, et des décisions du robot significativement plus adéquates et accommodantes. Enfin, ma troisième contribution concerne la prise de décision dans le domaine de la navigation. Je propose un système simulant un avatar humain qui, en plus d'être réactif, prend des décisions rationnelles sur les tâches de navigation. Ce système sert d'outil de test et d'évaluation pour les systèmes de navigation robotique. Ainsi, ces derniers peuvent être évalués, ajustés et robustifiés en simulation pour réaliser plus rapidement des expériences matures dans la vie réelle. Un travail supplémentaire permettant de simuler plusieurs avatars est également présenté.

Although human-robot collaboration can be beneficial, most of today's robots work in spaces physically separated from humans, or their capabilities are severely limited in close proximity to humans. This work aims to bridge the gap between robotic capabilities and human expectations, fostering a new era of seamless and intuitive collaboration between humans and robots in shared environments to perform industrial, service or domestic tasks. More specifically, this manuscript presents a study of decision-making in the context of human-robot collaboration, particularly in the areas of navigation and task planning.First, we discuss various fields and works related to human-robot collaboration in order to better understand the context of my work. After an introduction to the HATP/EHDA task planner, I present my first contribution, which incorporates some concepts from the Theory Of Mind into task planning. Some models and algorithms are proposed and evaluated to better estimate and maintain human knowledge during collaboration, in order to better anticipate human behavior. As a result, we can identify when the human has a false belief about a fact evaluated as relevant to the task. In this case, the robot can proactively inform the human to correct the false information, or the robot can deliberately delay its actions so that they can be seen by the human. The results show that this scheme effectively maintains the human's beliefs and solves a wider class of problems than HATP/EHDA, while not systematically communicating.My second contribution is a new approach to task planning producing a robot behavioral policy ensuring smooth collaboration where the human always has full decision latitude and the robot always conforms in parallel to these decisions. This approach is based on a model of concurrent and compliant joint action that we have designed. This model, in the form of an automaton, takes into account human incontrollability and social cues. We also propose a new method of plan evaluation and selection based on the estimation of the human's internal preferences regarding the task. Empirical results show that this approach enables concurrent robot behavior that conforms to the human's real-time decisions and preferences.To validate the above approach, we conducted a user study using a specially developed simulator. Participants were invited to collaborate in several scenarios with a simulated robot following the policies produced by our approach. We used as a reference an approach opposite to ours, in which the human is forced to conform to the robot's choices. We showed through statistical analysis that our approach satisfies human preferences significantly more successfully. Similarly, we have shown that our approach induces significantly more positive interaction, more adaptive and effective collaboration, and significantly more appropriate and accommodating robot decisions.Finally, my third contribution concerns decision-making in navigation. I propose a system simulating a human avatar which, in addition to being reactive, makes rational decisions about navigation tasks. This system serves as a test and evaluation tool for robotic navigation systems. In this way, they can be evaluated, adjusted, and robustified in simulation, so that mature real-life experiments can be carried out more quickly. An additional work capable of simulating several avatars is also presented.