Communication affective médiée via une interface tactile

Affective Mediated Communication via a Tactile Interface

• Auteur / Autrice : Mohamed Yacine Tsalamlal
• Direction : Jean-Claude Martin
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 27/06/2016
• Etablissement(s) : Université Paris-Saclay (ComUE)
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique pour la mécanique et les sciences de l'ingénieur (Orsay, Essonne ; 1972-2020)
• Partenaire(s) de recherche : établissement opérateur d'inscription : Université Paris-Sud (1970-2019)
• Jury : Président / Présidente : Michel-Ange Amorim
• Jury : Examinateurs / Examinatrices : Jean-Claude Martin, Michel-Ange Amorim, Elisabeth André, Dirk Heylen, Mehdi Ammi, Anatole Lécuyer, Moustapha Hafez, Jean-Marie Burkhardt
• Jury : Rapporteurs / Rapporteuses : Elisabeth André, Dirk Heylen

Mots clés

Mots clés contrôlés

Conception centrée sur l'utilisateur

Interaction humain-machine

Expression émotionnelle

Perception sociale

Mots clés libres

Tactile

Emotion

Jet d’air

Expression faciale

Voix

Communication médiée

Haptique

Interactions homme-machine (IHM)

Théorie de l’intégration de l’information

Touch

Emotion

Air jet

Facial expression

Voice

Mediated communication

Haptic

Human-Computer Interaction (HCI)

Theory of Information Integration

Résumé

La communication affective est au cœur de nos interactions interpersonnelles. Nous communiquons les émotions à travers de multiples canaux non verbaux. Plusieurs travaux de recherche sur l’interaction homme-machine ont exploité ces modalités de communication afin de concevoir des systèmes permettant de reconnaître et d’afficher automatiquement des signaux affectifs. Le toucher est la modalité la moins explorée dans ce domaine de recherche. L’aspect intrusif des interfaces haptiques actuelles est l’un des principaux obstacles à leur utilisation dans la communication affective médiée. En effet, l’utilisateur est physiquement connecté à des systèmes mécaniques pour recevoir la stimulation. Cette configuration altère la transparence de l’interaction médiée et empêche la perception de certaines dimensions affectives comme la valence. L’objectif de cette thèse est de proposer et d’étudier une technique de stimulation tactile sans contact avec des systèmes mécaniques pour médier des signaux d’affects. Sur la base de l’état de l’art des interfaces haptiques, nous avons proposé une stratégie de stimulation tactile basée sur l’utilisation d’un jet d’air mobile. Cette technique permet de fournir une stimulation tactile non-intrusive sur des zones différentes du corps. De plus, ce dispositif tactile permettrait une stimulation efficace de certains mécanorécepteurs qui jouent un rôle important dans les perceptions d’affects positifs. Nous avons conduit une étude expérimentale pour comprendre les relations entre les caractéristiques physiques de la stimulation tactile par jet d’air et la perception affective des utilisateurs. Les résultats mettent en évidence les effets principaux de l'intensité et de la vitesse du mouvement du jet d’air sur l’évaluation subjective mesurée dans l’espace affectif (à savoir, la valence, l'arousal et de la dominance).La communication des émotions est clairement multimodale. Nous utilisons le toucher conjointement avec d’autres modalités afin de communiquer les différents messages affectifs. C’est dans ce sens que nous avons conduit deux études expérimentales pour examiner la combinaison de la stimulation tactile par jet d’air avec les expressions faciales et vocales pour la perception de la valence. Ces expérimentations ont été conduites dans un cadre théorique et expérimental appelé théorie de l’intégration de l’information. Ce cadre permet de modéliser l’intégration de l’information issue de plusieurs sources en employant une algèbre cognitive. Les résultats de nos travaux suggèrent que la stimulation tactile par jet d’air peut être utilisée pour transmettre des signaux affectifs dans le cadre des interactions homme-machine. Les modèles perceptifs d’intégration bimodales peuvent être exploités pour construire des modèles computationnels permettant d’afficher des affects en combinant la stimulation tactile aux expressions faciales ou à la voix.

Affective communication plays a major role in our interpersonal interactions. We communicate emotions through multiple non-verbal channels. Researches on human-computer interaction have exploited these communication channels in order to design systems that automatically recognize and display emotional signals. Touch has receivers less interest then other non-verbal modalities in this area of research. The intrusive aspect of current haptic interfaces is one of the main obstacles to their use in mediated emotional communication. In fact, the user is must physically connected to mechanical systems to receive the stimulation. This configuration affects the transparency of the mediated interaction and limits the perception of certain emotional dimensions as the Valence. The objective of this thesis is to propose and study a technique for tactile stimulation. This technique does not require contact with mechanical systems to transmit affective signals. On the basis of the state of the art of haptic interfaces, we proposed a strategy of tactile stimulation based on the use of a mobile air jet. This technique provides a non-intrusive tactile stimulation on different areas of the body. In addition, this tactile device would allow effective stimulation of some mechanoreceptors that play an important role in perceptions of positive affect. We conducted an experimental study to understand the relationships between the physical characteristics of tactile stimulation by air jet and the emotional perception of the users. The results highlight the main effects of the intensity and the velocity of movement of the air stream on the subjective evaluation measured in space affective (namely, Valence, Arousal and Dominance).The communication of emotions is clearly multi-modal. We use touch jointly with other modalities to communicate different emotional messages. We conducted two experimental studies to examine the combination of air jet tactile stimulation with facial and vocal expressions for perception of the valence. These experiments were conducted in a theoretical and experimental framework called integration of information theory. This framework allows modelling the integration of information from multiple sources using a cognitive algebra. Our work suggests that tactile stimulation by air jet can be used to transmit emotional signals in the context of the human-machine interactions. Perceptual bimodal integration models can be exploited to build computational models to display affects by combining tactile stimulation to facial expressions or the voice.