Critères d'évaluation et stratégies d'optimisation des systèmes socio-conversationnels

Evaluation Criteria and Optimization Strategies for Socio-Conversational Systems

• Auteur / Autrice : Xiangyu An
• Direction : Chloé Clavel
• Type : Projet de thèse
• Discipline(s) : Sciences et technologies de l'information et de la communication
• Date : Inscription en doctorat le 03/03/2025
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris
• Partenaire(s) de recherche : Laboratoire : Centre INRIA de Paris

Mots clés

Mots clés libres

Évaluation des systèmes conversationnels

Reconnaissance des émotions

Optimisation des dialogues

Critères d'évaluation multidimensionnels

Evaluation of conversational systems

Emotion recognition

Dialogue optimization

Multidimensional evaluation criteria

Résumé

Les systèmes conversationnels s'implantent de plus en plus dans divers secteurs comme la santé, l'éducation, et le service client. Bien que leur capacité à automatiser certaines interactions soit avérée, il reste crucial d'évaluer rigoureusement leur efficacité réelle et leur aptitude à répondre aux besoins des utilisateurs. Un enjeu majeur de cette évaluation réside dans la faculté des systèmes conversationnels à saisir non seulement les requêtes explicites, mais aussi les nuances émotionnelles exprimées par les utilisateurs (par exemple la frustration), ces dernières ayant un impact significatif sur la satisfaction globale et la perception de l'interaction. AFNOR a développé un agent conversationnel innovant reposant sur un système multi-agent collaboratif. Cet agent a accès à une base de connaissances complète sur les normes (ISO, AFNOR, IEC) et est conçu pour répondre à des besoins variés des utilisateurs, qu'ils soient experts ou novices. Il permet, d'une part, de détecter le périmètre des normes pertinentes en fonction des besoins spécifiques des utilisateurs, et, d'autre part, de trouver des réponses précises aux problématiques soumises en s'appuyant sur le contenu des normes. Le système peut ainsi interpréter des requêtes complexes et proposer des solutions adaptées tout en simplifiant l'accès aux informations normatives. Cette thèse vise principalement à élaborer un cadre d'évaluation robuste pour mesurer l'efficacité des systèmes conversationnels. Ce cadre intégrera deux dimensions essentielles : l'analyse de la pertinence des stratégies conversationnelles adoptées (ex: suggestions, reformulation, empathie) par le système et sa capacité à prendre en compte les émotions dans les interactions. De ce cadre d'évaluation, nous dériverons des stratégies d'optimisation des modèles computationnels sous-jacents aux systèmes conversationnels visant: 1. Affiner les stratégies de dialogue: notre premier objectif est d'explorer et d'optimiser les modèles computationnels permettant aux systèmes conversationnels de guider efficacement les utilisateurs vers une formulation claire de leurs besoins. Nous nous concentrerons sur : ○ L'analyse des interactions où le système conversationnel accompagne l'utilisateur dans la précision de sa requête initiale. ○ L'évaluation de ces stratégies selon des critères multiples : limpidité des réponses, pertinence des informations, et capacité du système conversationnel à s'adapter aux nuances émotionnelles de l'utilisateur. 2. Évaluer l'efficacité des systèmes conversationnels dans le service client: nous examinerons la performance des systèmes conversationnels à deux moments clés du parcours client : ○ nous mesurerons la satisfaction de l'utilisateur en portant une attention particulière à la façon dont le système conversationnel présente les informations sur les normes et répond aux interrogations de l'utilisateur en nous basant sur : ■ La clarté et la précision des explications fournies. ■ L'aptitude à percevoir et à réagir aux émotions exprimées par les utilisateurs. ■ L'efficacité de la transmission des informations techniques et pratiques, ainsi que leur assimilation par l'utilisateur. 3. Développer des critères d'évaluation intégrant la dimension émotionnelle: nous chercherons à établir des critères d'évaluation pertinents pour mesurer la qualité globale des interactions, en mettant l'accent sur la reconnaissance des émotions. Notre approche combinera : ○ Des mesures quantitatives automatisées, telles que la qualité des réponses et le taux de résolution des problèmes. ○ Des retours qualitatifs des utilisateurs, prenant en compte leur satisfaction émotionnelle et la pertinence des réponses par rapport à leur état émotionnel. La thèse se déroulera également dans le cadre de PRAIRIE-PSAI.

Conversational systems are increasingly being implemented across various sectors such as healthcare, education, and customer service. While their capacity to automate certain interactions is proven, it remains crucial to rigorously evaluate their real effectiveness and their ability to meet user needs. A major challenge in this evaluation lies in the ability of conversational systems to grasp not only explicit requests but also the emotional nuances expressed by users (e.g., frustration), which significantly impact overall satisfaction and perception of the interaction. AFNOR has developed an innovative conversational agent based on a collaborative multi-agent system. This agent has access to a comprehensive knowledge base on standards (ISO, AFNOR, IEC) and is designed to meet the varied needs of users, whether experts or novices. It enables, on the one hand, the detection of relevant standards' scopes according to specific user needs, and on the other hand, to find precise answers to the issues submitted by relying on the content of the standards. The system can thus interpret complex requests and propose adapted solutions while simplifying access to normative information. This thesis primarily aims to develop a robust evaluation framework to measure the effectiveness of conversational systems. This framework will integrate two essential dimensions: the analysis of the relevance of the conversational strategies adopted (e.g., suggestions, reformulation, empathy) by the system and its capacity to take into account emotions in interactions. From this evaluation framework, we will derive optimization strategies for the computational models underlying conversational systems aiming to: 1. Refine dialogue strategies: our first objective is to explore and optimize the computational models that allow conversational systems to effectively guide users towards a clear formulation of their needs. We will focus on: ○ Analyzing interactions where the conversational system assists the user in refining their initial request. ○ Evaluating these strategies according to multiple criteria: clarity of responses, relevance of information, and the system's ability to adapt to the user's emotional nuances. 2. Evaluate the effectiveness of conversational systems in customer service: we will examine the performance of conversational systems at two key moments of the customer journey: ○ We will measure user satisfaction with particular attention to how the conversational system presents information about standards and responds to user inquiries based on: ■ The clarity and precision of the explanations provided. ■ The ability to perceive and respond to the emotions expressed by users. ■ The effectiveness of transmitting technical and practical information, as well as their assimilation by the user. 3. Develop evaluation criteria incorporating the emotional dimension: we will seek to establish relevant evaluation criteria to measure the overall quality of interactions, focusing on the recognition of emotions. Our approach will combine: ○ Automated quantitative measures, such as the quality of responses and the problem resolution rate. ○ Qualitative user feedback, taking into account their emotional satisfaction and the relevance of responses to their emotional state. The thesis will also be carried out within the framework of PRAIRIE-PSAI.