Modélisation des comportements cohésifs pour les agents virtuels dans les Interactions de groupe

Modelling Cohesive Behaviours for Virtual Agents in Multiparty Interactions

• Auteur / Autrice : Reshmashree Bangalore Kantharaju
• Direction : Catherine Pelachaud
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 08/10/2021
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris (1992-...)
• Partenaire(s) de recherche : Laboratoire : Institut des systèmes intelligents et de robotique (Paris ; 2009-....)
• Jury : Président / Présidente : Catherine Achard
• Jury : Examinateurs / Examinatrices : Maurizio Mancini
• Jury : Rapporteur / Rapporteuse : Magalie Ochs, Dominique Vaufreydaz

Mots clés

Mots clés contrôlés

Communication non verbale

Dynamique des groupes

Cohésion

Modèles mathématiques

Interaction sociale

Mots clés libres

Signaux multimodaux

Agents virtuels

Cohésion de groupe

Modèles multipartites

Comportement de groupe

Persuasion

Multimodal signals

Virtual agents

Cohesion

Multiparty models

Group behaviour

Persuasion

Résumé

Les interactions de groupe sont une forme de communication couramment utilisée entre humains. Souvent, les membres d'un groupe sont impliqués dans la discussion, la prise de décisions et l'échange d'idées, dans différents contextes (par exemple, réunion, conférence, fête, etc.). La cohésion de groupe décrit le lien partagé qui pousse les membres à rester ensemble et à vouloir travailler ensemble pour atteindre les objectifs du groupe. Dans les interactions de groupe, les humains communiquent et se coordonnent via un certain nombre de comportements verbaux et non verbaux. Dans ce travail de recherche, dans un premier temps, nous reconnaissons la relation entre la cohésion de groupe et certains signaux sociaux d'intérêt non verbaux. Ensuite, nous présentons les résultats sur l'estimation automatique des niveaux de cohésion dans les groupes en utilisant différentes caractéristiques et techniques de représentation des caractéristiques pour les groupes. Les agents virtuels, un personnage animé généré par ordinateur avec des comportements non verbaux de type humain, ont été largement utilisés pour les interactions homme-machine dans diverses applications, par exemple des agents éducatifs, des entraîneurs de santé, des assistants de formation, etc. La plupart des applications jusqu'à présent se sont concentrées sur le développement d'agents pour des interactions dyadiques, c'est-à-dire un seul agent et utilisateur. Un groupe d'agents (multipartite) peut être potentiellement efficace pour persuader, motiver et éduquer les utilisateurs à travers des discussions interactives. Dans l'étape suivante, nous développons un modèle multipartite impliquant plusieurs agents autonomes capables d'afficher un comportement de groupe cohérent, c'est-à-dire un engagement partagé envers les tâches de groupe et une relation positive entre les agents. Compte tenu de l'augmentation du nombre d'applications utilisant des agents virtuels, il est important d'étudier les interactions entre plusieurs agents et l'utilisateur et de comprendre les effets de l'utilisation d'un tel système. Nous émettons l'hypothèse que l'utilisation d'un système multi-agents permettrait à l'utilisateur d'être plus engagé dans la discussion et fournirait différentes perspectives sur le même problème et faciliterait aux utilisateurs de prendre des décisions éclairées. Par conséquent, dans la dernière étape, nous menons plusieurs études d'évaluation des utilisateurs pour comprendre les effets des interactions multipartites sur l'utilisateur et ses perceptions, par exemple le niveau de confiance, la persuasion. Nous présentons des informations sur la forme d'interactions la plus efficace pour promouvoir un changement de comportement ou persuader l'utilisateur à l'aide de différents sujets de conversation de groupe. En résumé, dans cette thèse, nous reconnaissons l'association entre certains signaux sociaux non verbaux et la cohésion de groupe, présentons la précision de l'estimation à l'aide de caractéristiques extraites de ces signaux, développons un modèle multipartite pour simuler un groupe cohésif d'agents affichant des signaux sociaux importants et enfin évaluons l'efficacité d'un tel modèle dans un contexte de changement de comportement et ses effets sur les perceptions des utilisateurs.

Group interactions are a commonly used form of communication among humans. Often the members of a group are involved in discussing, making decisions and exchanging ideas, under different settings (e.g., meeting, conference, party etc.). Group Cohesion describes the shared bond that drives the members to stay together and to want to work together to achieve group goals. In group interactions, humans communicate and coordinate with each other via a number of verbal and nonverbal behaviours. In this research work, as a first step we recognise the relation between group cohesion and certain non-verbal social signals of interest. Next, we present the results on automatic estimation of cohesion levels in groups using different features and feature representation techniques for groups. Virtual agents, a computer-generated animated character with human-like non-verbal behaviours, have been widely used for human-computer interactions in various applications e.g., educational agents, health coaches, training assistants etc. Most of the applications so far have focused on developing agents for dyadic interactions i.e., a single agent and user. A group of agents (multiparty) can be potentially effective in persuading, motivating and educating the users through interactive discussions. In the next step, we develop a multiparty model involving multiple autonomous agents that are capable of displaying cohesive group behaviour i.e., shared commitment to group tasks and positive relationship among the agents. Considering the surge in the range of applications using virtual agents, it is important to study the interactions between multiple agents and the user and understand the effects of using such a system. We hypothesise that the use of a multi-agent system would allow the user to be more engaged in the discussion and provide different perspectives on the same issue and facilitate the users to make informed decisions. Therefore, in the final step we conduct multiple user evaluation studies to understand the effects of multiparty interactions on the user and their perceptions e.g., the level of trust, persuasion. We present insights into the most effective form of interactions for promoting behaviour change or persuading the user using different group conversational topics. To summarise, in this thesis we recognise the association between certain non-verbal social signals and group cohesion, present the estimation accuracy using features extracted from these signals, develop a multiparty model to simulate a cohesive group of agents displaying prominent social signals and finally evaluate the effectiveness of such a model in the context of behaviour change and its effects on user’s perceptions.