Communication kinesthésique des émotions dans un contexte d'interaction homme-machine

Kinesthetic Communication of Emotions in Human-Computer Interaction

• Auteur / Autrice : Yoren Gaffary
• Direction : Mehdi Ammi, Jean-Claude Martin
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 18/06/2015
• Etablissement(s) : Paris 11
• Ecole(s) doctorale(s) : Ecole doctorale Informatique de Paris-Sud (2000-2015)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique pour la mécanique et les sciences de l'ingénieur (Orsay, Essonne ; 1972-2020)
• Jury : Président / Présidente : Nadine Rouillon-Couture
• Jury : Examinateurs / Examinatrices : Mehdi Ammi, Jean-Claude Martin, Nadine Rouillon-Couture, Dirk Heylen, Anatole Lécuyer, Michel-Ange Amorim
• Jury : Rapporteurs / Rapporteuses : Dirk Heylen, Anatole Lécuyer

Mots clés

Mots clés contrôlés

Toucher

Émotions

Interaction humain-machine

Kinesthésie

Mots clés libres

Interaction kinesthésique

Expression des émotions

Perception des émotions

Kinesthetic interaction

Expression of emotions

Perception of emotions

Résumé

La communication des émotions s'effectue naturellement par le biais de différentes modalités, comme par exemple les expressions faciales et le toucher. L'informatique affective cherche à intégrer la composante émotionnelle dans les interactions homme-machine. Cependant, le toucher, qui est un puissant vecteur d'émotions, reste peu exploité. L'objectif de cette thèse est d'étudier les paramètres qui influencent l'expression et la perception des émotions dans la modalité kinesthésique dans un contexte d'interaction homme-machine. Dans un premier temps, cette thèse considère l'expression kinesthésique liée à la perception physique de forces et de mouvements d'un ensemble d'émotions actées sémantiquement proches. Sur la base des résultats de cette première étude, un couplage des expressions kinesthésiques typiques de différentes émotions avec des expressions faciales exprimées par un avatar est proposé afin d'étudier l'influence de la modalité kinesthésique dans la perception d'une expression multimodale d’émotion. Enfin, cette thèse va au-delà de ces émotions actées en abordant dans une dernière étude le cas de l'expression et de la perception d'un état affectif de stress spontané. Ces différentes expérimentations ont considéré différents dispositifs matériels pour la communication kinesthésique : des dispositifs de type Geomagic Touch ainsi qu'un dispositif de rendu de pression développé spécifiquement dans le cadre de cette thèse. Les résultats de ces travaux ont de multiples applications pratiques. Premièrement, une meilleure intégration de la modalité kinesthésique en contexte virtuel, qu'il s'agisse de communication humain-humain à distance ou d'immersion dans les jeux vidéo. Cette thèse ouvre également la voie à la détection automatique d'états affectifs exprimés spontanément par la modalité kinesthésique.

The communication of emotions use several modalities of expression, as facial expressions or touch. The affective computing field aims to integrate an emotional component in human-computer interactions. Even though touch is an effective vector of emotions, is remains little explored. This thesis aims to investigate the kinesthetic features of the expression and perception of emotions in a human-computer interaction setting. Firstly, this thesis considers the kinesthetic expression and perception of semantically close and acted emotions. Secondly, this thesis proposes a facial-kinesthetic combination of expressions of several close emotions. This aims to investigate the influence of the kinesthetic modality on the multimodal perception of emotions. Finally, this thesis goes beyond acted emotions by focusing on the expression and perception of a spontaneous state of stress. Those different experiments used various devices for kinesthetic interaction, as Geomagic Touch devices and a pressure rendering device developed for this thesis. Results have multiple applications. Firstly, a better integration of the kinesthetic modality in virtual settings, from human-human remote communications to immersion in video games. This thesis also paves the way for an automatic recognition of affective states expressed by the kinesthetic modality.