Conception et évaluation d’interfaces utilisateur explicatives pour systèmes complexes en apprentissage automatique

Designing and evaluating explanation user interfaces for complex Machine Learning systems

• Auteur / Autrice : Clara Bove
• Direction : Marie-Jeanne Lesot, Charles Tijus, Marcin Detyniecki
• Type : Thèse de doctorat
• Discipline(s) : Sciences et technologies de l'information et de la communication
• Date : Soutenance le 15/09/2023
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris (1992-...)
• Partenaire(s) de recherche : Laboratoire : LIP6 (1997-....)
• Jury : Président / Présidente : Theodoros Evgeniou
• Jury : Examinateurs / Examinatrices : Jean-Gabriel Ganascia
• Jury : Rapporteur / Rapporteuse : Katrien Verbert, Nicolas Labroche

Mots clés

Mots clés contrôlés

Apprentissage basé sur l'explication

Apprentissage automatique

Systèmes complexes

Interfaces utilisateur (informatique)

Mots clés libres

Explications

Interface

Système en apprentissage automatique

Explicabilité

Evaluation

Explainable AI

Interface

Machine Learning

Explainability

User studies

Résumé

Cette thèse se place dans le domaine de l’IA eXplicable (XAI) centrée sur l’humain, et plus particulièrement sur l’intelligibilité des explications pour les utilisateurs non-experts. Le contexte technique est le suivant : d’un côté, un classificateur ou un régresseur opaque fournit une prédiction, et une approche XAI post-hoc génère des informations qui agissent comme des explications ; de l’autre côté, l’ utilisateur reçoit à la fois la prédiction et ces explications. Dans ce contexte, plusieurs problèmes peuvent limiter la qualité des explications. Ceux sur lesquels nous nous concentrons sont : le manque d’informations contextuelles dans les explications, le manque d’orientation pour la conception de fonctionnalités pour permettre à l’utilisateur d’explorer et la confusion potentielle qui peut être générée par la quantité d’informations. Nous développons une procédure expérimentale pour concevoir des interfaces utilisateur explicatives et évaluer leur intelligibilité pour les utilisateurs non- experts. Nous étudions des opportunités d’amélioration XAI sur deux types types d’explications locales : l’importance des variables et les exemples contre- factuels. Aussi, nous proposons des principes XAI génériques pour contextualiser et permettre l’exploration sur l’importance des variables; ainsi que pour guider les utilisateurs dans l’analyse comparative des explications contrefactuelles avec plusieurs exemples. Nous proposons une application de ces principes pro- posés dans deux interfaces utilisateur explicatives distinctes, respectivement pour un scénario d’assurance et un scénario financier. Enfin, nous utilisons ces interfaces améliorées pour mener des études utilisateurs en laboratoire et nous mesurons deux dimensions de l’intelligibilité, à savoir la compréhension objective et la satisfaction subjective. Pour l’importance des variables locales, nous montrons que la contextualisation et l’exploration améliorent l’intelligibilité de ces explications. De même, pour les exemples contrefactuels, nous montrons qu’avoir plusieurs exemples plutôt qu’un améliore également l’intelligibilité, et que l’analyse comparative est un outil prometteur pour la satisfaction des utilisateurs. À un niveau fondamental, nous considérons la question théorique des incohérences éventuelles de ces explications. Dans le contexte considéré dans cette thèse, la qualité d’une explication repose à la fois sur la capacité du système d’apprentissage automatique à générer une explication cohérente et sur la capacité de l’utilisateur final à interpréter correctement ces explications. Cependant, il peut y avoir plusieurs limitations: d’un côté, la littérature a rapporté plusieurs limitations techniques de ces systèmes, rendant les explications potentiellement incohérentes ; de l’autre, des études utilisateurs ont montré que les interprétations des utilisateurs ne sont pas toujours exactes, même si des explications cohérentes leur ont été présentées. Nous étudions donc ces incohérences et proposons une ontologie pour structurer les incohérences les plus courantes de la littérature. Cette ontologie constitue un outil pour comprendre les limites actuelles en XAI pour éviter les pièges des explications.

This thesis focuses on human-centered eXplainable AI (XAI) and more specif- ically on the intelligibility of Machine Learning (ML) explanations for non-expert users. The technical context is as follows: on one side, either an opaque classifier or regressor provides a prediction, with an XAI post-hoc approach that generates pieces of information as explanations; on the other side, the user receives both the prediction and the explanations. Within this XAI technical context, several is- sues might lessen the quality of explanations. The ones we focus on are: the lack of contextual information in ML explanations, the unguided design of function- alities or the user’s exploration, as well as confusion that could be caused when delivering too much information. To solve these issues, we develop an experimental procedure to design XAI functional interfaces and evaluate the intelligibility of ML explanations by non-expert users. Doing so, we investigate the XAI enhancements provided by two types of local explanation components: feature importance and counterfac- tual examples. Thus, we propose generic XAI principles for contextualizing and allowing exploration on feature importance; and for guiding users in their com- parative analysis of counterfactual explanations with plural examples. We pro- pose an implementation of such principles into two distinct explanation-based user interfaces, respectively for an insurance and a financial scenarios. Finally, we use the enhanced interfaces to conduct users studies in lab settings and to measure two dimensions of intelligibility, namely objective understanding and subjective satisfaction. For local feature importance, we demonstrate that con- textualization and exploration improve the intelligibility of such explanations. Similarly for counterfactual examples, we demonstrate that the plural condition improve the intelligibility as well, and that comparative analysis appears to be a promising tool for users’ satisfaction. At a fundamental level, we consider the issue of inconsistency within ML explanations from a theoretical point of view. In the explanation process consid- ered for this thesis, the quality of an explanation relies both on the ability of the Machine Learning system to generate a coherent explanation and on the ability of the end user to make a correct interpretation of these explanations. Thus, there can be limitations: on one side, as reported in the literature, technical limitations of ML systems might produce potentially inconsistent explanations; on the other side, human inferences can be inaccurate, even if users are presented with con- sistent explanations. Investigating such inconsistencies, we propose an ontology to structure the most common ones from the literature. We advocate that such an ontology can be useful to understand current XAI limitations for avoiding explanations pitfalls.