La pragmatique dans les conversations avec des agents artificiels : comment l’évaluer ?

Conversational pragmatics with artificial agents : how to evaluate it ?

• Auteur / Autrice : Baptiste Jacquet
• Direction : Jean Baratgin
• Type : Thèse de doctorat
• Discipline(s) : Psychologie
• Date : Soutenance le 25/11/2021
• Etablissement(s) : Paris 8
• Ecole(s) doctorale(s) : École doctorale Cognition, langage, interaction (Saint-Denis, Seine-Saint-Denis)
• Jury : Président / Présidente : Dominique Archambault
• Jury : Examinateurs / Examinatrices : Carine Royer, Sabine Guéraud
• Jury : Rapporteurs / Rapporteuses : Laura Macchi, Alain Jaillet
• DOI : 10.70675/af3f75b7ze650z43a9zb57az1af426c9cf71

Mots clés

Mots clés contrôlés

Pragmatique

Agents conversationnels

Théorie de la pertinence (linguistique)

Test de Turing

Intelligence artificielle

Mots clés libres

Pragmatique du langage

Chabots

Pertinence

Test de Turing

Intelligence artificielle

Théorie de l'esprit

Conversations

Cognition

Résumé

Avec le développement rapide de systèmes informatiques permettant de communiquer avec des utilisateurs ou clients de manière automatisé par le langage naturel, des questions se posent sur la capacité de ces outils à répondre de manière adéquate à l’utilisateur. En effet, de nombreuses études existent sur le fait que les utilisateurs de tels systèmes sont souvent frustrés par leur incapacité à se faire comprendre de la machine, qui se retrouve à répondre de manière non pertinente, surtout lors de conversations dépassant la simple question-réponse. Dans cette thèse, nous étudierons les problèmes concernant la pragmatique du langage, souvent ignorées par ces outils automatisés que sont les chatbots et les robots sociaux, et nous chercherons à y apporter des réponses en nous basant notamment sur les travaux de Grice (1975) sur la pragmatique conversationnelle et de Wilson and Sperber (2002) sur la Théorie de la Pertinence. Nous partirons donc des observations permettant d’affirmer que les agents conversationnels artificiels actuels ont de nombreux problèmes concernant la pragmatique du langage et notamment l’utilisation du contexte et de l’implicite. Nous chercherons également à définir une méthode d’évaluation de chatbots permettant de mesurer, d’une manière qui soit la plus objective possible, les capacités en pragmatique du langage des agents conversationnels artificiels grâce au test de Turing. Après avoir montré la pertinence de cette approche nous montrerons également les opportunités qu’offrent le paradigme de l’utilisation de chatbots et du Test de Turing comme outils en psychologie expérimentale.

With the rapid development of computer systems that allow users or customers to communicate with each other in an automated manner using natural language, questions are being raised about the ability of these tools to respond adequately to the user. Indeed, many studies exist on the fact that users of such systems are often frustrated by their inability to make themselves understood by the machine, which ends up answering in an irrelevant way, especially during conversations that go beyond the simple question-answer. In this thesis, we will study the problems concerning the pragmatics of language, often ignored by these automated tools that are chatbots and social robots, and we will try to offer solutions to them by basing ourselves on the works of Grice (1975) on conversational pragmatics and Wilson and Sperber (2002) on the Theory of Relevance. We will therefore start from observations that allow us to assert that current artificial conversational agents have many problems concerning the pragmatics of language and in particular the use of context and implicit structures. We will also try to define an evaluation method for chatbots that will allow us to measure, in the most objective way possible, the pragmatic capabilities of artificial conversational agents, using the Turing test. After showing the relevance of this approach, we will also show opportunities offered by the paradigm of using chatbots and the Turing Test as tools in experimental psychology.