Aide à domicile au moyen de robots humanoïdes : assistance au mouvements en interaction physique multi-contacts

Frail human assistance by a humanoid robot using multi-contact planning and physical interaction using : multi-contact planning and physical interaction

• Auteur / Autrice : Anastasia Bolotnikova
• Direction : Abderrahmane Kheddar
• Type : Thèse de doctorat
• Discipline(s) : SYAM - Systèmes Automatiques et Micro-Électroniques
• Date : Soutenance le 25/03/2021
• Etablissement(s) : Montpellier
• Ecole(s) doctorale(s) : École doctorale Information, Structures, Systèmes (Montpellier ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique, de robotique et de micro-électronique (Montpellier ; 1992-....)
• Jury : Président / Présidente : Sandra Hirche
• Jury : Examinateurs / Examinatrices : Abderrahmane Kheddar, Sandra Hirche, Dana Kulić Peng, Vincent Padois, Alessandro De Luca, Sébastien Courtois
• Jury : Rapporteurs / Rapporteuses : Dana Kulić Peng, Vincent Padois

Mots clés

Mots clés contrôlés

Interaction multimodale

Interaction homme-robot

Robots humanoïdes

Mots clés libres

Observateur de contact

Robots humanoïdes

Contrôle du corps entier

Communication multimodale

Interaction physique homme-Robot

Contact observer

Humanoid robots

Whole-Body control

Multimodal communication

Physical human-Robot interaction

Résumé

Alors que le pourcentage de seniors parmi la population mondiale augmente, la quantité de personnel soignant qualifié pour l’aide à cette catégorie de personnes est elle en perpétuelle diminution. Cette thèse défend l’idée que l'utilisation des technologies robotiques pour une assistance physique pourrait contribuer à maintenir l'autonomie et la qualité de vie des personnes fragiles, et par conséquent un maintien à domicile plus long. Les robots humanoïdes peuvent prendre part à une telle vision, notamment pour effectuer les tâches à valeurs non ajoutées pour le personnel soignant ou la famille.Au cours de ce travail, une attention plus particulière est portée à l’utilisation de la plateforme humanoïde, Pepper, premier robot humanoïde produit en grande série. Le choix de cette plateforme est motivé par son accessibilité lié à son coût mais également par sa conception voulue sociale, qui le rend convivial ; ses capacités de communication multimodales facilitent grandement certaines tâches.Dans ce cadre, nous avons développé une méthode de détection de contact basée sur les capteurs proprioceptifs. Afin de maintenir le coût du robot, la détection du contact utilise uniquement les capteurs déjà présents sur le robot. Il s’agit pour le robot de détecter les collisions avec l’environnement, et plus spécifiquement la détection de l’interaction physique homme/robot. L’intégration de la méthode proposée passe par l’analyse du signal de retour des capteurs pour ajuster la réponse en temps réel du robot à l’événement de contact détecté.Ensuite, nous avons abordé le problème de la planification de la posture des robots humanoïdes dans le contexte de l'interaction physique homme-robot. Nous avons revu le framework de génération de posture basé sur l'optimisation non linéaire avec les composants nécessaires qui permettent de planifier une posture en contact avec un nuage de points issu de la perception de la personne à assister. Le pipeline de traitement du nuage de points proposé fournit les structures de données nécessaires pour formuler le problème de génération de posture pour qu'un robot puisse initier une tâche d'assistance physique.Suite aux discussions avec un centre EHPAD, un premier scénario d'interaction entièrement autonome est proposé pour initier le processus d'assistance. Un contrôleur dans l’espace des tâches formulé comme un programme quadratique est développé pour que Pepper puisse atteindre une personne, effectuer une communication multimodale et établir plusieurs contacts physiques de manière totalement autonome. La performance du contrôleur est démontrée par une expérience réelle. Tous les outils logiciels développés pour effectuer le contrôle du corps entier des robots humanoïdes de SoftBank sont mis à la disposition du public et sont documentés en détail.Enfin, nous avons entamé le problème de l'assistance physique à des mouvements prédéfinis. Nous présentons une méthodologie de contrôle adaptative qui permet au robot Pepper de fournir les forces d'assistance nécessaires pour accompagner un mouvement effectué (ici le bras) par une personne avec une suppléance des couples articulaires. Nous présentons les résultats préliminaires pour l’approche proposée.Nous concluons notre thèse par une discussion sur les résultats obtenus et les perspectives futures de la recherche concernant l'interaction physique homme-robot pour l'assistance physique au mouvement.

As the percentage of the elderly population is rising worldwide, the demand imposed on modern society for providing a sufficient amount of skilled workers in the caregiving sector is becoming increasingly harder to fulfill. Utilization of robotic technologies in physical assistance in a home support context can contribute to sustaining a frail person's autonomy and quality of life. We envision the use of the humanoid robot technology for providing daily assistance with physical motion tasks. More specifically, in this work, we focus on the usage of Pepper humanoid robot platform, mass-produced by SoftBank Robotics. The choice of the platform is motivated by its affordability, user-friendly design and multi-modal communication capabilities.First, we propose and develop a proprioceptive sensor based contact detection method. In order to maintain low cost of the platform, our method for contact detection aims at using only the available Pepper’s sensors to detect collision with the environment, namely a contact event during physical human-robot interaction. We detail the integration of the proposed method as a feedback signal in the whole-body controller to react to human touch in real-time.Secondly, we investigate the whole-body humanoid robot posture planning problem in the assistive physical human-robot interaction context. We augment the non-linear optimization based posture generation framework with necessary components that allow us to plan a robot attitude in contact with a human point cloud. The proposed human point cloud processing pipeline provides the necessary data structures to formulate the posture generation problem for a robot to initiate a physical assistance task.Then, we present a fully autonomous interaction scenario for initiating a physical assistance process. A Finite-State Machine and task-space Quadratic Programming based controller is developed for a robot to navigate towards a human, perform a multi-modal communication and establish several physical contacts in a fully autonomous fashion. The controller performance is demonstrated in real experiments with a human subject. All the software tools developed to perform whole-body task space Quadratic Programming based control on SoftBank humanoid robots are made publicly available and are documented in detail.Finally, we study the problem of partial physical assistance in motion. We present a control methodology that enables a humanoid robot to supply the assistive forces necessary to help a frail human to achieve a desired performance of a motion task. We present and discuss the simulation results of the proposed method.We conclude this work with discussion of the achieved results and the future perspectives of research in the area of humanoid-human interaction for physical assistance.