Gaze and face-to-face communication between a human speaker and an animated conversational agent - Mutual attention and multimodal deixis

• Auteur / Autrice : Stephan Raidt
• Direction : Gérard Bailly, Laurent Bonnaud
• Type : Thèse de doctorat
• Discipline(s) : Signal, image, parole, télécoms
• Date : Soutenance en 2008
• Etablissement(s) : Grenoble INPG

Mots clés

Mots clés contrôlés

Systèmes conversationnels (informatique)

Deixis

Regard

Communication non verbale

Mots clés libres

Agent conversationnel animé , Thèses et écrits académiques

Résumé

Dans le contexte de la génération synthétique et le décodage d'informations linguistiques, non seulement le composant auditif mais aussi le composant visuel de la parole transmettent de l'information précieuse. Nous étudions le regard en tant qu´élément crucial pour enrichir la parole et fournir des informations supplémentaires. Le regard est un geste déictique très important, ainsi il influence de manières variées l'organisation du dialogue et de l'interaction sociale. Dans une première expérience nous étudions comment le regard d'une tête parlante peut être employé comme geste déictique dans un jeu de recherche et sélection sur un écran d'ordinateur. Nous avons trouvé que ces gestes sont capables de réduire le temps de réaction ainsi que la charge cognitive. Cet effet est accentué quand le geste est de caractère multimodal, utilisant la parole de manière adaptée. Dans une deuxième expérience nous avons étudié le rapport entre le regard d'un sujet cible et les différents éléments d'une interaction dialogique. Nous avons défini différents segments dans l'échange d'information dialogique et avons trouvé qu´ils sont liés aux variations du comportement du regard mesuré. Basé sur ces résultats nous proposons un modèle pour le contrôle du regard d'un agent conversationnel animé dans l'interaction face-à-face.

In the context of synthetic generation and decoding of linguistic information, not only the audible component but also the visual component of speech conveys valuable information. We address gaze as an important modality to enhance speech and to convey additional information. Gaze is an important deictic gesture as well as it plays various roles in the organization of dialogue and social interaction. In a first experiment, we investigated how the gaze of a talking head can be used as a deictic gesture in an on-screen search and retrieval task. We found that such gestures are appropriate to reduce processing time as well as cognitive load. Multimodal gestures incorporating speech in a coherent way showed to be more efficient than only visual gestures. In a second experiment, we investigated the relations between the gaze of a target subject and different elements of conversational interaction. We defined different stages in the dialogic exchange of information and found that these are related to the variations in the measured gaze behavior. Based on the observed characteristics we propose a model to control the gaze of an embodied conversational agent in close dyadic interaction.