Optimisation de la prise de décisions pour la collaboration homme-robot

Optimizing decision-making for human-robot collaboration

• Auteur / Autrice : Mélodie Daniel
• Direction : Youcef Mezouar, Sébastien Lengagne, Juan Antonio Corrales Ramón
• Type : Thèse de doctorat
• Discipline(s) : Electronique et Systèmes
• Date : Soutenance le 08/12/2022
• Etablissement(s) : Université Clermont Auvergne (2021-...)
• Ecole(s) doctorale(s) : École doctorale des sciences pour l'ingénieur (Clermont-Ferrand)
• Partenaire(s) de recherche : Laboratoire : Institut Pascal (Aubière, Puy-de-Dôme)
• Jury : Président / Présidente : Roland Lenain
• Jury : Examinateurs / Examinatrices : Claire Dune, Roberto Iglesias Rodriguez
• Jury : Rapporteurs / Rapporteuses : Helder Jesus Araujo, Philippe Fraisse

Mots clés

Mots clés contrôlés

Interaction homme-robot

Apprentissage par renforcement (intelligence artificielle)

Mots clés libres

Collaboration homme-robot

Prise de décisions

Théorie des jeux

Apprentissage par renforcement

Human-robot collaboration

Decision-making

Game theory

Reinforcement learning

Résumé

Les robots se fraient progressivement un chemin depuis les industries et les laboratoires jusqu’à notre vie quotidienne. Qu'ils servent de compagnons, d'enseignants, de réceptionnistes, de nettoyeurs ou répondent à d'autres de nos besoins, ces robots ont pour objectif d'améliorer notre qualité de vie. Cependant, l'autonomie décisionnelle des robots reste un défi majeur dans le domaine de la robotique. Pour augmenter l'autonomie du robot, les chercheurs ont tendance à classer les collaborations en fonction de différents critères afin de rassembler les points communs entre les collaborations homme-robot. L'objectif est de détecter les étapes similaires que le robot doit être capable d'accomplir pour réaliser les différentes tâches. D'autre part, d'autres travaux visent à améliorer un ou plusieurs des domaines nécessaires pour qu'une collaboration homme-robot soit mise en place. Le robot doit effectuer quatre étapes standards pour mettre en place une collaboration homme-robot : la perception,la prise de décisions, l'exécution de mouvements et l'évaluation. Cette thèse se concentre sur l'optimisation des performances de la collaboration homme-robot en améliorant le processus décisionnel du robot. Nous évaluons la performance de la collaboration à l'aide de différentes métriques modifiables de performance. Ainsi, une collaboration optimisée a pour but d'apporter des bénéfices aux humains, tels que l'accomplissement plus rapide de la tâche ou la réduction de l'effort des agents humains. En revanche, une collaboration non optimisée n'apportera rien aux humains ou, au contraire, représentera une nuisance, comme le fait de les ralentir ou de les surcharger et ce même si la tâche est finalement accomplie. Nous commençons par développer un framework global qui optimise le processus décisionnel du robot. Nous appliquons ce framework à une tâche d'assemblage non intuitive, c'est-à-dire qu'un raisonnement cognitif complexe est nécessaire pour trouver le bon endroit où placer chaque pièce du jeu d'assemblage proposé. Nous voulons améliorer la réalisation de la tâche par une équipe homme-robot collaborative sans avoir à augmenter les capacités physiques de ce dernier (à savoir la perception,la planification de trajectoires ou le contrôle bas-niveau). Le framework que nous proposons peut améliorer la collaboration homme-robot en prenant en compte différentes métriques de performance. Ces métriques sont prises en compte indépendamment du comportement de l'humain. Nous appliquons ensuite ce framework à une deuxième application plus complexe (à savoir la déformation d'un objet mou) qui nécessite d'augmenter la dextérité de manipulation du robot en améliorant son contrôle bas-niveau. En effet, nous prenons en considération cette deuxième application,qui nécessite d'augmenter la dextérité de manipulation du robot, afin de maximiser l'optimisation de la performance de la collaboration. Une équipe collaborative homme-robot devra co-manipuler un objet déformable afin de lui faire atteindre des formes désirées. L'équipe collaborative peut réaliser cette application à l'aide d'une approche d'apprentissage par renforcement profond. L'idée est d'entraîner l'agent (un robot à un ou deux bras) en simulation et de le tester en situation réelle et ce en remplaçant le second bras robotique par l'agent humain.

Robots are gradually making their way from industries and laboratories into our daily lives. Whetherthey serve as companions, teachers, receptionists, cleaners, or meet other needs, these robots aim toimprove our quality of life. However, robots' decisional autonomy remains the major challenge inrobotics. To increase the robot's autonomy, the researchers tend, on the one hand, to classify thecollaborations based on different criteria to gather the commonalities between the human-robotcollaborations. The goal is to detect the similar steps that the robot must be able to accomplish toperform the various tasks. On the other hand, other works focus on enhancing one or many of the fieldsrequired to set up a human-robot collaboration. The robot must perform four standard steps to set up ahuman-robot collaboration: perception, decision-making, motion execution, and evaluation. This thesis aims to optimize the human-robot collaboration performance by improving the robot'sdecision-making process. We evaluate the collaboration performance based on different changeableperformance metrics. Hence, an optimized collaboration aims to benefit humans, such as getting thetask done faster or reducing the effort of human agents. However, an unoptimized collaboration willbring nothing to humans or, on the contrary, will represent a nuisance, such as slowing them down oroverloading them, even if the task is finally accomplished. We start by developing a global framework that optimizes the robot's decision-making process. Weapply this framework to a non-intuitive assembly task, i.e., complex cognitive processing is required tofind the right place for each piece of the proposed assembly game. We want to enhance the task time tocompletion by a collaborative human-robot team without having to increase its physical capabilities(i.e., perception, trajectory planning, or low-level control). Our proposed framework can improvehuman-robot collaboration while considering different performance metrics. These metrics areconsidered regardless of the behavior of the human agent. We then apply this framework to a second application more complex (i.e., deforming a soft object)that requires increasing the robot's manipulation dexterity by improving its low-level control. Indeed,we will consider this second application that requires increasing the robot's manipulation dexterity tomaximize the optimization of the collaboration performance. A human-robot collaborative team willhave to co-manipulate the soft object to make it reach desired shapes. The collaborative team canachieve this application using a deep reinforcement learning approach. The idea is to train the agent (asingle-arm robot or a dual-arm robot) in simulation and to test it in real by replacing the second roboticarm with the human agent.