'Nudges' dans l'interaction homme-machine : analyse et modélisation d'un agent capable de nudges personnalisés

Nudges in human-machine interaction : analyse and modelisation of an agent able of personalized nudging

• Auteur / Autrice : Hugues Ali Mehenni
• Direction : Laurence Devillers, Ioana Vasilescu
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 20/06/2023
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire interdisciplinaire des sciences du numérique (Orsay, Essonne ; 2021-....)
• Partenaire(s) de recherche : référent : Université Paris-Saclay. Faculté des sciences d’Orsay (Essonne ; 2020-....)
• Partenaire(s) de recherche : graduate school : Université Paris-Saclay. Graduate School Informatique et sciences du numérique (2020-….)
• Jury : Président / Présidente : Anne Vilnat
• Jury : Examinateurs / Examinatrices : Fabrice Lefèvre, Thierry Artières, Fabrice Le Guel, Bassam Jabaian
• Jury : Rapporteurs / Rapporteuses : Fabrice Lefèvre, Thierry Artières

Mots clés

Mots clés contrôlés

Nudge

Interaction humain-machine

Systèmes homme-machine

Traitement automatique du langage naturel

Mots clés libres

Système de dialogue oral

Apprentissage par renforcement

Nudges linguistiques

Apprentissage Few-shot

Interaction Homme-Machine

Spoken dialogue system

Reinforcement learning

Linguistic nudge

Few-shot learning

Human-machine interaction

Résumé

Devant la multiplication et la généralisation d'assistants personnels vocaux (comme Siri ou Alexa), personnifiés sous forme de robots ou non (Pepper, Reeti, enceintes vocales, applications), ainsi que les succès très récents de chatbot tels que ChatGPT, des questions peuvent se poser sur le type et l'étendue de l'influence de ces agents sur leurs utilisateurs. Dans ce travail, nous nous intéressons à l'utilisation des nudges dans le dialogue oral et proposons pour cela la modélisation d'un agent capable de nudges linguistiques et personnalisés grâce à un apprentissage par renforcement.Les nudges sont des incitations ‘douces' dans le design visant à modifier le comportement ou la prise de décision sans apporter cependant de restrictions dans le choix. Introduits puis étudiés à l'origine en économie comportementale, ils reposent souvent sur des biais cognitifs (attention, mémoire, etc.) mais leur utilisation n'est pas encore réglementée et pourrait être amplifiée par un agent oral.L'originalité de cette thèse est alors d'observer l'impact de stratégies de nudges linguistiques dans une approche d'apprentissage automatique à travers la construction d'un système de dialogue orienté-tâche. Pour évaluer leur influence dans un tel environnement, nous introduisons des métriques et protocoles et détaillons les résultats de 2 expériences de collecte de données sur les nudges. La première est réalisée dans une école primaire sur une population potentiellement sensible et la deuxième est développée en ligne auprès d'internautes dans une approche automatique continue. Ces expériences permettent de montrer une influence plus grande de la machine (robot ou enceinte) par rapport à un humain et l'efficacité de stratégies de nudges linguistiques orales dès qu'elles sont présentes. Nous montrons enfin comment un système de dialogue oral modulaire, prenant compte de l'émotion de l'utilisateur, peut être entraîné à l'aide de peu de données pour adapter de telles stratégies de nudges à un interlocuteur par apprentissage par renforcement. Ces premiers résultats permettront de nourrir une discussion éthique et de futures pistes de recherche.

The increasing usage in everyday situations of vocal personal assistants (such as Siri or Alexa), personified in the form of robots or not (Pepper, Reeti, voice speakers, applications), as well as the very recent success of chatbots such as ChatGPT raise questions about the type and the extent of the influence these agents may have on their users. In this work, we study the use of nudges in a spoken dialogue and present the modeling of an agent capable of linguistic and personalized nudges through reinforcement learning.Nudges are 'soft' incentives aiming at modifying behavior or decision making without restricting a person's choice. Originally introduced and studied in behavioral economics, they often rely on cognitive biases (attention, memory, etc.) but their use is not yet regulated and could be amplified by an oral agent.The originality of this thesis is then to observe the impact of linguistic nudging strategies in a machine learning approach through the elaboration of a task-oriented dialogue system. To evaluate their influence in such an environment, we introduce metrics, protocols and detail the results of two experiments for collecting data specific to nudges. The first one is conducted in an elementary school on a potentially sensitive population and the second one is developed online with Internet users in a continuous automatic approach. These experiments show a greater influence of the machine (robot or speaker) compared to a human and the effectiveness of oral linguistic nudges strategies as soon as they are present. We finally show how a modular spoken dialogue system, taking into account the user's emotion, can be trained with little data to adapt such nudging strategies to an interlocutor through reinforcement learning. These initial results will provide a basis for ethical discussion and future research.