Exploitation de la dynamique des comportements non-verbaux pour la modélisation de l'attitude sociale et de l'engagement dans l'interaction homme-agent

Leveraging the dynamics of non-verbal behaviors : modeling social attitude and engagement in human-agent interaction

• Auteur / Autrice : Soumia Dermouche
• Direction : Catherine Pelachaud
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 27/06/2019
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris (1992-...)
• Partenaire(s) de recherche : Laboratoire : Institut des systèmes intelligents et de robotique (Paris ; 2009-....)
• Jury : Président / Présidente : Mohamed Chetouani
• Jury : Examinateurs / Examinatrices : Elisabeth André, Magalie Ochs
• Jury : Rapporteur / Rapporteuse : Thierry Dutoit, Alexandre Pauchet

Mots clés

Mots clés contrôlés

Apprentissage profond

Agents conversationnels

Modèles mathématiques

Interaction sociale

Reconnaissance automatique des émotions

Communication non verbale

Interaction humain-machine

Interfaces utilisateur (informatique)

Mots clés libres

Comportement non-verbal

Attitude sociale

Prédiction d'engagement

Interaction homme-agent

Extraction de séquence temporelle

Agents virtuels

Non-verbal behavior

Social attitude

Engagement prediction

Human-agent interaction

Temporal sequence mining

Virtual agents

Résumé

Dans le contexte de l'interaction humain-agent, notre objectif était d'améliorer la qualité de l'interaction en: (1) dotant l'agent de la capacité d'exprimer des attitudes sociales telles que la dominance ou l'amicalité ce qui renforcent ses compétences sociales; (2) adaptant le comportement de l'agent selon le comportement de l'utilisateur, par conséquent l'agent et l'utilisateur s'influencent mutuellement par le biais d'une boucle interactive; (3) prédisant le niveau d'engagement de l'utilisateur et adaptant en conséquence le comportement de l'agent, ce qui contribue à maintenir l'intérêt et la motivation de l'utilisateur. Nous nous basons sur les progrès récents dans le domaine de l'apprentissage automatique, plus particulièrement de l'extraction de séquences temporelles et des réseaux de neurones. Le premier est utilisé pour apprendre des séquences pertinentes de signaux non-verbaux qui représentent au mieux les variations d'attitude, puis les reproduire par l'agent. Le seconde est utilisé pour englober la dynamique des signaux non verbaux. Deux cas d'utilisation ont été explorés à l'aide du modèle LSTM : l'adaptation du comportement de l'agent en fonction de l’historique de comportement de l'agent et de l'utilisateur; et la prédiction de l'engagement de l'utilisateur basée sur son propre historique de comportement. La pertinence des modèles et des algorithmes implémentés a été validée au moyen de nombreuses études approfondies et d'une évaluation quantitative rigoureuse des résultats obtenus. De plus, les travaux réalisés ont été intégrés dans une plateforme d'agents virtuels.

Social interaction implies exchange between two or more persons, where they adapt their behaviors to each others. With the growing interest in human-agent interactions, it is desirable to make these interactions natural and human like. In this context, we aimed at enhancing the quality of the interaction between users and Embodied Conversational Agents ECAs by (1) endowing the ECA with the capacity to express social attitudes, such as being friendly or dominant depending its role or relationship with its interaction partners; (2) adapting the agent's behavior according to the user's behavior, hence, the conversation partners influence each others through an interaction loop, thus, enhancing the interaction quality; (3) predicting the user's engagement level and adapting the agent's behavior accordingly. We take advantage of the recent advances in machine learning, more specifically, temporal sequence mining and neural networks to model these capacities in the ECA. The first model is used to learn relevant patterns (sequences) of non-verbal signals that best represent attitude variations, and then reproduce them on the agent. The latter is used to encompass the dynamics of non-verbal signals. Two use cases have been explored using the well-known LSTM model: agent's behavior adaptation based on both agent's and user's behavior history, and user's engagement prediction based on his/her own behavior history. The implemented models and algorithms have been validated through a number of perceptive studies as well as through rigorous quantitative analysis of the obtained results. In addition, the realized models have been integrated into a virtual-agent platform.