Vers la détection des nudges dans les interactions humain-humain et humain-machine

Towards detection of nudges in Human-Human and Human-Machine interactions

• Auteur / Autrice : Natalia Kalashnikova
• Direction : Laurence Devillers, Ioana Vasilescu
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 28/06/2024
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication
• Partenaire(s) de recherche : Laboratoire : Laboratoire interdisciplinaire des sciences du numérique (Orsay, Essonne ; 2021-....)
• Partenaire(s) de recherche : référent : Faculté des sciences d'Orsay
• Partenaire(s) de recherche : graduate school : Université Paris-Saclay. Graduate School Informatique et sciences du numérique (2020-....)
• Jury : Président / Présidente : Pierre Zweigenbaum
• Jury : Examinateurs / Examinatrices : Patrice Bellot, Marie Tahon, Nicolas Audibert, Alexandre Pauchet, Laura Spinu
• Jury : Rapporteurs / Rapporteuses : Patrice Bellot, Marie Tahon

Mots clés

Mots clés contrôlés

Communication persuasive

Reconnaissance automatique des émotions

Classification automatique

Corpus linguistique

Actance (linguistique)

Nudge

Mots clés libres

Nudge

Alignement

Création de corpus

Prédiction automatique

Nudge

Alignment

Data acquisition

Automatic prediction

Résumé

Les techniques qui influencent indirectement la prise de décision des humains, connues sous le nom de "nudge"(Thaler and Sunstein, 2008) , sont peu étudiées dans les interactions parlées. Les nudges linguistiques sont des techniques de manipulation douce fondées sur les biais cognitifs et utilisent les moyens linguistiques pour encourager les changements dans la prise de décision des humains sans aucune restrictions ou sanctions pour leur choix. Addressées directement au destinataire (par exemple, sous forme de lettre ou de note), ces techniques ont prouvé leur efficacité dans plusieurs domaines. Néanmoins, avec la présence de plus en plus répandu des agents conversationnels au quotidien, plusieurs questions se posent sur l'impact du type de l'interlocuteur et la réaction de différents types de public aux nudges. En tenant compte de cette connaissance préalable, nous étudions plusieurs descripteurs linguistiques et paralinguistiques et posons la question de la pertinence d'un modèle qui prédit si quelqu'un a été verbalement manipulé. Les recherches dans ce domaine en sont encore à leurs débuts, nous proposons donc d'abord une méthodologie innovative pour la collection de données dans le but d'estimer la propension des participants à être nudgés (influencés). Nous avons testé deux types de publics : les enfants et les adultes. Le protocole compare les interactions contenant une intervention qui influence le choix (nudge) avec trois agents conversationnels (robot Pepper, enceinte Google Home, humain). Dans l'expérience avec les adultes, nous avons comparé les scores des participants quant à leur volonté d'adopter des habitudes écologiques après le nudge avec leurs scores de base afin de mesurer l'influence des nudges. Dans l'expérience avec les enfants, nous avons comparé le nombre de billes qu'ils étaient prêts à garder pour eux après le nudge avec le nombre de billes qu'ils voulaient garder avant le nudge pendant le jeu. En utilisant cette méthodologie, nous avons enregistré 22 heures d'échanges entre des adultes et trois agents conversationnels (le robot Pepper, le haut-parleur Google Home et un humain) et 10 heures d'échanges entre des enfants et les mêmes agents conversationnels. Dans un premier temps, ces données ont été transcrites manuellement et segmentées en tours de parole, puis annotées à différents niveaux affectifs. Deuxièmement, pour mesurer la capacité des différents agents conversationnels à donner des nudges de manière efficace, nous avons analysé la prise de décision des participants en fonction de l'interlocuteur et du type de nudge. Plus précisément, nous avons étudié la corrélation entre les états émotionnels des participants et leurs réponses aux nudges et aux agents conversationnels. Troisièmement, pour mieux comprendre comment l'incarnation d'un agent conversationnel peut influencer la propension d'un participant à recevoir des encouragements, nous avons proposé une comparaison de certains éléments paralinguistiques, lexicaux et discursifs pertinents des participants selon le type d'agent conversationnel. Enfin, nous avons utilisé différentes combinaisons d'annotations émotionnelles, de transcriptions et de données audio provenant des expériences enregistrées pour construire un modèle d'apprentissage profond basé sur des caractéristiques acoustiques, textuelles et des états émotionnels afin de prédire si le participant a été nudgé. Les principaux résultats soulignent que nos participants ont été nudgés quel que soit leur groupe d'âge, avec un effet plus important sur les adultes.

Nudges, techniques that indirectly influence human decision-making (Thaler and Sunstein, 2008) , are little studied in spoken interactions. Linguistic nudges are techniques of latent manipulation based on cognitive biases that use linguistic means to encourage changes in human decision-making without any restrictions or penalties for their choices. Addressed directly to the recipient (e.g., in the form of a letter or a note), these techniques have proven their effectiveness in many domains. However, with the growing presence of conversational agents in everyday life, several questions have been raised about the impact of the type of interlocutor and the reaction of different types of public to nudges. With this prior knowledge in mind, we study several paralinguistic and linguistic features and question the relevance of a model that predicts whether someone has been verbally influenced. This domain is in its early stages; thus, we first propose an innovative methodology for data collection with the goal of estimating participants' propensity to be nudged. We tested two populations: children and adults. The protocol compares nudging interaction with three conversational agents (robot Pepper, smart-speaker Google Home, and human). In the experiment with adults, we compared the participants' scores of willingness to adopt selected ecological habits after the nudge with their baseline scores to measure the influence of nudges. In the experiment with children, we compared the number of little balls they were willing to keep for themselves after the nudge with the number of balls they wanted to keep before the nudge during the game. Using this methodology, we recorded 22 hours of exchanges of adults with three conversational agents (robot Pepper, smart-speaker Google Home, and human) and 10 hours of exchanges of children with the same conversational agents. Firstly, these data were manually transcribed and segmented into speaking turns and then annotated on different affective levels. Secondly, to measure the ability of the various conversational agents to nudge effectively, we analyzed the participants' decision-making according to the interlocutor and the type of nudges. Specifically, we studied the correlation between participants' emotional states and their answers to nudges and conversational agents. Thirdly, to better understand how the embodiment of a conversational agent could influence a participant's propensity to be nudged, we proposed a comparison of some relevant paralinguistic, lexical, and discursive cues of participants regarding the type of conversational agent. Finally, we used different combinations of emotional annotations, transcriptions, and audio data from the recorded experiments to build a deep-learning model based on acoustic, textual features, and emotional states to predict whether the participant was nudged. The main results underline that our participants were nudged regardless of their age group, with a more significant impact on adults.