Analyse du mouvement humain pour l'assistance à la personne : apport de la robustesse de l’observation et de l’analyse par contrôle optimal inverse

Human movement analysis for personal assistance : contribution to the robustness of observation and analysis by inverse optimal control

• Auteur / Autrice : Jessica Colombel
• Direction : François Charpillet, David Daney
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 05/12/2022
• Etablissement(s) : Université de Lorraine
• Ecole(s) doctorale(s) : École doctorale IAEM Lorraine - Informatique, Automatique, Électronique - Électrotechnique, Mathématiques de Lorraine (1992-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire lorrain de recherche en informatique et ses applications
• Jury : Président / Présidente : Philippe Fraisse
• Jury : Examinateurs / Examinatrices : François Charpillet, David Daney, Nacim Ramdani, Marie Babel, Jérôme Dinet
• Jury : Rapporteurs / Rapporteuses : Nacim Ramdani, Marie Babel

Mots clés

Mots clés contrôlés

Algorithmes optimaux

Interaction homme-robot

Empathie

Commande, Théorie de la

Analyse du mouvement

Robotique

Mots clés libres

Robotique

Mouvement Biologique

Contrôle Optimal Inverse

Empathie Artificielle

Interaction Humain Robot

Robotics

Biological Motion

Inverse optimal control

Artificial empathy

Human robot interaction

Résumé

Le mouvement biologique possède de nombreuses informations, qu'elles soient physique ou cognitive. Des travaux ont montré qu'il était possible de déterminer le genre d'une personne, son émotion, voire même son identité. Ces caractéristiques sont accessibles à partir d'information sur la dynamique du mouvement des corps poly-articulés (e.g. le mouvement des points d'articulation). Comprendre et interpréter le comportement d'une personne et son état sont des capacités liées à l'empathie. C'est une faculté commune à l'ensemble des mammifères qui se base sur certains systèmes neuronaux comprenant, entre autre, les neurones miroirs. Étant donné que l'empathie participe grandement aux interactions sociales chez les hommes et plus généralement les animaux, on est en mesure de se demander comment notre relation avec les robots peut s'en inspirer.Cela nous amène à la problématique suivante: l'assistance robotique à la personne peut-elle se servir de l'interprétation du mouvement humain, riche d'informations physiques et cognitives, comme modalité d'amélioration de l'Interaction Humain Robot ?Pour répondre à cette problématique, nous nous positionnons sur des outils d'observations et sur une méthode d'analyse du mouvement qui soient exploitables en temps réel par un système robotique.Dans un premier temps, nous avons travaillé sur les outils d'observation du mouvement humain. Nos objectifs d'assistance robotisée en milieu écologique, nécessitent d'installer des capteurs qui affectent le moins possible les actions de la personne. Nous avons donc choisi d'étudier le capteur Kinect de Microsoft qui est un capteur de profondeur accessible permettant de récupérer les positions cartésiennes des articulations et extrémités du corps. Cependant, ce type de capteur est sujet à des bruits de mesure qui empêcherait une analyse fine du mouvement. Nous avons donc développé deux méthodes pour améliorer la mesure de ce capteur basé sur le Filtre de Kalman Etendu (EKF): un EKF sous contrainte anthropométrique et un EKF de fusion de capteurs. Nous avons fait la première étude sur la Kinect de 2ème génération et la deuxième sur les générations 2 et 3, permettant de mettre en avant les différences entre ces deux capteurs.Dans un second temps, nous nous sommes intéressés aux méthodes d'analyse du mouvement et plus spécifiquement au problème de Control Optimal Inverse (COI). L'objectif du COI est d'identifier les pondérations associées à un ensemble de fonctions de coûts à optimiser pour générer une trajectoire donnée. Dans le cadre de cette thèse, nous cherchons à analyser en temps réel des trajectoires de mouvement humain dont les mesures, issus de capteurs, sont bruitées. Nous avons étudié la fiabilité de la méthode de résolution du COI dite Approchée, en fonction du bruit de mesure. Nous apportons également une approche originale du COI qui pose une nouvelle vision de l'optimalité de trajectoires et permet de présenter les concepts de Courbes de Singularité et de Projection. Nous montrons dans cette étude des outils permettant de mieux comprendre et prendre en compte les problématique de robustesse du COI.

Biological motion has a lot of information, both physical and cognitive. Studies have shown that it is possible to determine a person's gender, emotion and even identity. These characteristics are accessible from information on the dynamics of the movement of polyarticulated bodies (e.g. the movement of the articulation points). Understanding and interpreting a person's behavior and state are abilities related to empathy. It is a faculty common to all mammals and is based on certain neural systems including, among others, mirror neurons. Given that empathy is an important part of social interactions in humans and more generally in animals, we can ask ourselves how our relationship with robots can be inspired by it.This leads us to the following problem: can robotic assistance to people use the interpretation of human movement, rich in physical and cognitive information, as a modality to improve the Human-Robot Interaction?To answer this question, we are working on observation tools and on a method of motion analysis that can be used in real time by a robotic system.Initially, we worked on the observation tools of human movement. Our objectives of robotic assistance in an ecological environment require the installation of sensors that affect the person's actions as little as possible. We have therefore chosen to study the Microsoft Kinect sensor which is an accessible depth sensor allowing to recover the Cartesian positions of the joints and extremities of the body. However, this type of sensor is subject to measurement noise that would prevent a fine analysis of the movement. We have therefore developed two methods to improve the measurement of this sensor based on the Extended Kalman Filter (EKF): an anthropometrically constrained EKF and a sensor fusion EKF. We have done the first study on the 2nd generation Kinect and the second on the 2nd and 3rd generations, allowing to highlight the differences between these two sensors.In a second time, we were interested in motion analysis methods and more specifically in the problem of Inverse Optimal Control (IOC). The objective of IOC is to identify the weights associated with a set of cost functions to be optimized to generate a given trajectory. In this thesis, we seek to analyze in real time human motion trajectories whose measurements, coming from sensors, are noisy. We have studied the reliability of the IOC resolution method called Approached, as a function of the measurement noise. We also provide an original approach to the IOC that poses a new view of the optimality of trajectories and allows us to introduce the concepts of Singularity Curves and Projection. We show in this paper tools to better understand and take into account the robustness issues of IOC.