First seconds matter : Mangaing first impressions for a more engaging virtual agent - TEL - Thèses en ligne Accéder directement au contenu
Thèse Année : 2019

First seconds matter : Mangaing first impressions for a more engaging virtual agent

Les premières secondes comptent : gérer les premières impressions pour un agent virtuel plus engageant

Résumé

The first moments of an interaction with a virtual character are critical since users form impressions about them, which can affect the rest of the interaction, in terms of engagement and willingness to continue it. In this Thesis we present a computational model for managing user’s impression of agent’s warmth and competence (W&C), the 2 fundamentals dimensions of social cognition. The goal of the agent is to adapt its non-verbal behaviour in real-time during an interaction, according to user’s non-verbal reactions. Our approach starts from the analysis of a corpus of human-human interactions in order to identify a set of non-verbal behaviours eliciting different degrees of W&C. A perceptual study then investigated how these behaviours are perceived when performed by a virtual agent. A reinforcement learning (RL) algorithm has been developed to allow the agent to learn in real-time the behaviours which give the best impression to the user, according to its goal. User’s non-verbal reactions (computed from low-level signals such as facial action units) are used as a reward for the RL. We have personalized the computational model in order to adapt the agent’s behaviours with the goal of maximizing user’s engagement or impressions of agent’s W&C. Two use cases have been run in order to evaluate the impact of an adapting agent on user’s impressions and perception of the interaction, compared to a non-adapting agent. In the first experiment the agent adapted its self-presentational strategies in order to maximise user’s engagement. In the second one the agent learned the best combinations of non-verbal behaviours to display in order to maximise user’s impressions of its W&C.
Les premiers instants d'une interaction avec un personnage virtuel sont critiques, car les impressions que les utilisateurs se forgent à leur sujet peuvent affecter le reste de l'interaction, en termes d'engagement et de volonté de poursuivre l’interaction. Dans cette thèse, nous présentons un modèle computationnel pour un agent virtuel pour gérer les impressions de chaleur et de compétence (C&C), les deux dimensions fondamentales de la cognition sociale, que se forge l’utilisateur. Le but de l'agent est d'adapter son comportement non verbal en temps réel pendant une interaction, en fonction des réactions non verbales de l'utilisateur. Notre approche part de l'analyse d'un corpus d'interactions humaines afin d'identifier un ensemble de comportements non verbaux suscitant la perception de différents degrés de C&C. Une étude perceptive a examiné comment ces comportements sont perçus lorsqu'ils sont réalisés par un agent virtuel. Un algorithme d'apprentissage par renforcement a été développé pour permettre à l'agent d'apprendre en temps réel les comportements qui donnent la meilleure impression à l'utilisateur, en fonction de son objectif. Les réactions non verbales de l'utilisateur (calculées à partir de signaux de bas niveau telles que les unités d'action du visage) sont utilisées comme récompense pour l'algorithme. Nous avons personnalisé le modèle afin d'adapter les comportements de l'agent dans le but de maximiser l'engagement de l'utilisateur ou ses impressions sur la C&C de l'agent. 2 cas d'utilisation ont été menés afin d'évaluer l'impact d'un agent adaptatif sur les impressions de l’utilisateur et sa perception de l'interaction, par rapport à un agent non adaptatif.
Fichier principal
Vignette du fichier
BIANCARDI_Beatrice_these_2019.pdf (24.8 Mo) Télécharger le fichier
Origine : Version validée par le jury (STAR)

Dates et versions

tel-03261855 , version 1 (16-06-2021)

Identifiants

  • HAL Id : tel-03261855 , version 1

Citer

Béatrice Biancardi. First seconds matter : Mangaing first impressions for a more engaging virtual agent. Human-Computer Interaction [cs.HC]. Sorbonne Université, 2019. English. ⟨NNT : 2019SORUS037⟩. ⟨tel-03261855⟩
194 Consultations
65 Téléchargements

Partager

Gmail Facebook X LinkedIn More