Etude du rôle des postures corporelles et expressions faciales dans la communication non verbale

par Luc Drouillet

Projet de thèse en Psychologie

Sous la direction de Stéphanie Caillies et de Celine Loscos.

Thèses en préparation à Reims , dans le cadre de Ecole doctorale Sciences de l'homme et de la société , en partenariat avec (C2S) - Laboratoire de psychologie Cognition Santé Socialisation (laboratoire) depuis le 27-07-2020 .


  • Résumé

    Une communication réussie repose sur la capacité à décoder les états mentaux d'autrui. Différents indices peuvent être utilisés pour les identifier : les expressions faciales émotionnelles (EFEs) et les postures dynamiques (positions et mouvements du corps entier incluant la tête et les mains mais excluant les expressions faciales). Si les premières ont fait l'objet de nombreuses recherches, toutefois restreintes aux émotions de base, les secondes sont encore en jachère. L'objectif principal de ce projet est de spécifier le rôle respectif des postures dynamiques et des EFEs dans la communication non verbale, considérant à la fois les émotions de base (e.g. colère, joie, peur) mais également des émotions plus complexes (e.g., fierté, pouvoir). Plus précisément, nous chercherons à déterminer si les postures dynamiques ne font que renforcer en intensité la signification des EFEs (Ekman & Friesen, 1974) ou si elles possèdent une signification qui leur est propre. Pour répondre à cette question, il est nécessaire de pouvoir dissocier dans un cadre expérimental les postures dynamiques des individus de leurs EFEs, distinction difficilement réalisable avec les outils actuellement disponibles. Les nouvelles technologies de captation de mouvements et de traitement de l'image associées à l'élaboration d'agents virtuels ouvrent des perspectives de recherches nouvelles et rendent l'étude du rôle de ces attitudes posturales dynamiques dans la communication non verbale possible. Leurs applications posent néanmoins des défis importants et notamment la recherche de solutions pour : 1) acquérir simultanément les mouvements de la tête, du corps et des mains ainsi que les EEFs des individus volontaires, 2) élaborer une base de données annotée associant les mouvements captés à des postures et EEFs induites expérimentalement, 3) utiliser cette base de données pour délivrer ces postures et EEFs sur un agent virtuel et 4) tester la signification de ces postures avec ou sans EEFs auprès de juges, voire dans une perspective d'automatisation, i. e. la reconnaissance automatique des émotions et états mentaux véhiculés par l'agent virtuel via un réseau de neurones. Ce projet se déroulera en quatre étapes. (1) Mise en place d'un protocole expérimental visant à induire des états émotionnels chez des participants volontaires, états sensés engendrer des postures et expressions faciales. 2) Modélisation des données par captation à partir de système d'acquisition de mouvement : les données relatives aux mouvements du corps, des mains, et de la face seront acquises par des systèmes différents et elles seront combinées puis appliquées sur un agent virtuel. (3) Evaluation expérimentale des postures dynamiques et EEFs appliquées sur les agents virtuels par des participants juges. In fine, (4) Mise en place de la base de données associant les mouvements captés à des émotions validées expérimentalement. Les résultats de l'étude expérimentale serviront de base à un algorithme d'apprentissage pour la reconnaissance automatique des émotions véhiculées par les postures dynamiques. A ce jour, une telle base de données est inexistante. Ce projet permettra à terme d'appréhender dans un monde virtuel la compréhension ou la réactivité comportementale des humains face aux postures et expressions faciales des agents virtuels, voire avatars. Les applications potentielles sont multiples : simulation d'entretien d'embauche, simulation d'apprentissage professionnel ou éducatif en situation, prise en charge de troubles de la communication (psychologie clinique virtuelle), induction de changement de comportements (écologie par exemple), simulation d'interaction avec un vendeur ou conseiller virtuel en magasin, analyse des réactions à des stimuli marketing (design produit ou service, publicité), conception d'avatars socialisants, etc.

  • Titre traduit

    Study of the role of body postures and facial expressions in non-verbal communication


  • Résumé

    A successful communication relies on the ability to decode the mental states of others. Different signs can be used to identify them: emotional facial expressions (EFEs) and dynamic postures (positions and movements of the whole body including head and hands but excluding facial expressions). While the former have been studied a lot, however limited to primary emotions, the latter are still fallow. The main objective of this project is to specify the respective role of dynamic postures and EFEs in non-verbal communication, considering both primary emotions (e.g. anger, joy, fear) but also more complex emotions (e.g., pride, power). More precisely, we will seek to determine whether the dynamic postures only reinforce in intensity the meaning of the EFEs (Ekman & Friesen, 1974) or if they have a meaning of their own. To answer this question, it is necessary to be able to dissociate in an experimental framework the dynamic postures of individuals from their EEFs, a distinction that is difficult to achieve with current tools. The new motion capture and image processing technologies associated with the creation of virtual agents open up new research perspectives and make the study of the role of these dynamic postural attitudes in non-verbal communication possible. Their applications nevertheless pose significant challenges and in particular the search for solutions to: 1) simultaneously acquire the movements of the head, body and hands as well as the EEFs of voluntary individuals, 2) develop an annotated database associating the movements captured to experimentally induced postures and EEFs, 3) use this database to deliver these postures and EEFs on a virtual agent and 4) test the meaning of these postures with or without EEFs with judges, or even in an automation perspective, i.e. automatic recognition of emotions and mental states conveyed by the virtual agent via a neural network. This project will take place in four stages. (1) Establishment of an experimental protocol aimed at inducing emotional states in voluntary participants, states supposed to generate postures and facial expressions. 2) Data modeling by capture from a movement acquisition system: data relating to body, hands and face movements will be acquired by different systems and will be combined and then applied to a virtual agent. (3) Experimental evaluation of dynamic postures and EEFs applied to virtual agents by judge participants. Finally, (4) Implementation of the database associating the movements captured with emotions validated experimentally. The results of the experimental study will serve as the basis for a learning algorithm dedicated to the automatic recognition of emotions conveyed by dynamic postures. To date, such a database does not exist. This project will ultimately allow us to apprehend, in a virtual world, the understanding or the behavioral reactivity of humans with respect to the postures and facial expressions of virtual agents, or avatars. There are many potential applications: simulation of job interview, simulation of professional or educational learning in a situation, communication disorders caring (virtual clinical psychology), induction of behavioral change (ecology for example), simulation of interaction with a seller or virtual store advisor, reactions analysis to marketing stimuli (product or service design, advertising), socializing avatars design, etc.