Interaction bi latérale entre un robot humanoïde et un humain assistée par la réalité mixte

Bi-lateral interaction between a humanoid robot and a human in mixed reality

• Auteur / Autrice : Zahra Ramezanpanah
• Direction : Malik Mallem
• Type : Thèse de doctorat
• Discipline(s) : Robotique
• Date : Soutenance le 15/12/2020
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Informatique, Biologie Intégrative et Systèmes Complexes (Evry, Essonne) - Informatique- BioInformatique- Systèmes Complexes / IBISC
• Partenaire(s) de recherche : Référent : Université d'Évry-Val-d'Essonne (1991-....)
• Jury : Président / Présidente : Pierre Zweigenbaum
• Jury : Examinateurs / Examinatrices : Catherine Achard, Titus Bogdan Zaharia, Catherine Pelachaud
• Jury : Rapporteur / Rapporteuse : Catherine Achard, Titus Bogdan Zaharia

Mots clés

Mots clés contrôlés

Apprentissage profond

Apprentissage automatique

Interaction homme-robot

Reconnaissance automatique des émotions

Reconnaissance gestuelle

Notation Laban

Mots clés libres

Machine Learning

Résumé

Cette thèse peut être divisée en deux parties: la reconnaissance des actions et la reconnaissance des émotions. Chaque partie se fait selon deux méthodes, la méthode classique de Machine Learning et le réseau profond. Dans la section Reconnaissance des actions, nous avons d'abord défini un descripteur local basé sur la LMA, pour décrire les mouvements. LMA est un algorithme pour décrire un mouvement en utilisant ses quatre composants: le corps, l'espace, la forme et l'effort. Le seul objectif de cette partie étant la reconnaissance des gestes, seuls les trois premiers facteurs ont été utilisés. L'algorithme DTW, est implémenté pour trouver les similitudes des courbes obtenues à partir des vecteurs descripteurs obtenus par la méthode LMA. Enfin SVM, l'algorithme est utilisé pour former et classer les données. Dans la deuxième partie de cette section, nous avons construit un nouveau descripteur basé sur les coordonnées géométriques de différentes parties du corps pour présenter un mouvement. Pour ce faire, en plus des distances entre le centre de la hanche et les autres articulations du corps et les changements des angles de quaternion dans le temps, nous définissons les triangles formés par les différentes parties du corps et calculons leur surface. Nous calculons également l'aire de la seule frontière 3D conforme autour de toutes les articulations du corps. À la fin, nous ajoutons la vitesse de l'articulation différente dans le descripteur proposé. Nous avons utilisé LSTM pour évaluer ce descripteur. Dans la deuxième partie de cette thèse, nous avons d'abord présenté un module de niveau supérieur pour identifier les sentiments intérieurs des êtres humains en observant leurs mouvements corporels. Afin de définir un descripteur robuste, deux méthodes sont mises en œuvre: La première méthode est la LMA, qui en ajoutant le facteur «Effort» est devenue un descripteur robuste, qui décrit un mouvement et l'état dans lequel il a été effectué. De plus, le second sur est basé sur un ensemble de caractéristiques spatio-temporelles. Dans la suite de cette section, un pipeline de reconnaissance des mouvements expressifs est proposé afin de reconnaître les émotions des personnes à travers leurs gestes par l'utilisation de méthodes d'apprentissage automatique. Une étude comparative est faite entre ces 2 méthodes afin de choisir la meilleure. La deuxième partie de cette partie consiste en une étude statistique basée sur la perception humaine afin d'évaluer le système de reconnaissance ainsi que le descripteur de mouvement proposé.

This thesis can be divided into two parts: action recognition and emotion recognition. Each part is done in two method, classic method of Machine Learning and deep network. In the Action Recognition section, we first defined a local descriptor based on the LMA, to describe the movements. LMA is an algorithm to describe a motion by using its four components: Body, Space, Shape and Effort. Since the only goal in this part is gesture recognition, only the first three factors have been used. The DTW, algorithm is implemented to find the similarities of the curves obtained from the descriptor vectors obtained by the LMA method. Finally SVM, algorithm is used to train and classify the data. In the second part of this section, we constructed a new descriptor based on the geometric coordinates of different parts of the body to present a movement. To do this, in addition to the distances between hip centre and other joints of the body and the changes of the quaternion angles in time, we define the triangles formed by the different parts of the body and calculated their area. We also calculate the area of the single conforming 3-D boundary around all the joints of the body. At the end we add the velocity of different joint in the proposed descriptor. We used LSTM to evaluate this descriptor. In second section of this thesis, we first presented a higher-level module to identify the inner feelings of human beings by observing their body movements. In order to define a robust descriptor, two methods are carried out: The first method is the LMA, which by adding the ''Effort'' factor has become a robust descriptor, which describes a movement and the state in which it was performed. In addition, the second on is based on a set of spatio-temporal features. In the continuation of this section, a pipeline of recognition of expressive motions is proposed in order to recognize the emotions of people through their gestures by the use of machine learning methods. A comparative study is made between these 2 methods in order to choose the best one. The second part of this part consists of a statistical study based on human perception in order to evaluate the recognition system as well as the proposed motion descriptor.