Modèles prédictifs & raisonnement avec les explications

Predictive models & reasoning with explanations

• Auteur / Autrice : Ryma Boumazouza
• Direction : Bertrand Mazure, Karim Tabia
• Type : Thèse de doctorat
• Discipline(s) : Informatique et applications
• Date : Soutenance le 08/12/2022
• Etablissement(s) : Artois
• Ecole(s) doctorale(s) : École doctorale Sciences, technologie et santé (Amiens)
• Partenaire(s) de recherche : Laboratoire : Centre de recherche en informatique (Lens, Pas-de-Calais ; 2008-....)
• Jury : Président / Présidente : Sylvain Lagrue
• Jury : Examinateurs / Examinatrices : Bertrand Mazure, Karim Tabia, Marie-Jeanne Lesot, Fahima Cheikh, Christine Solnon
• Jury : Rapporteurs / Rapporteuses : Sylvain Lagrue, Marie-Jeanne Lesot

Mots clés

Mots clés contrôlés

Logique informatique

Contraintes (intelligence artificielle)

Mots clés libres

IA explicable

Explications symboliques

Classification multi-étiquettes

Satisfiabilité booléenne

Modèle-agnostique

Explications basées-score

Attribution de caractéristiques

Test

EXplainable AI (XAI)

Symbolic explanations

Multi-label classification

Satisfiability testing

Model-agnostic

Score-based explanation

Feature attribution

Résumé

Cette thèse étudie une méthode d'explicabilité qui allie à la fois le caractère ''agnostique'' des méthodes numériques et qui propose des explications plus ''rigoureuses'' qui caractérisent les explications symboliques. Le but étant d'expliquer les prédictions des techniques de classification mono-étiquette et multi-étiquettes. Plusieurs contributions sont apportées dans cette thèse. Premièrement, nous avons travaillé sur le cas mono-étiquette. Nous avons proposé une approche qui va de l'encodage en représentation symbolique du modèle dont on souhaite expliquer les prédictions à la génération d'explication basée sur un oracle SAT. L'idée est de prendre un classificateur, avec une instance, et de produire une formule propositionnelle que nous utiliserons pour générer nos explications. L'inconsistance de cette formule permet d'expliquer les prédictions négatives.Nous considérons les deux cas où nous pouvons avoir la représentation logique du modèle dans son ensemble ou une approximation basée sur un modèle de substitution.Nous nous intéressons à deux types complémentaires d'explications symboliques : les raisons suffisantes qui correspondent à un sous-ensemble minimal de l'entrée conduisant à une prédiction spécifique et les contrefactuelles qui correspondent à un sous-ensemble de l'entrée permettant de connaître les modifications minimales à apporter pour obtenir une prédiction différente.Deuxièmement, nous avons proposé des propriétés à considérer afin de prioriser et sélectionner les explications en évaluant leur pertinence ainsi que celle des variables les composants. Par la suite, nous nous sommes intéressés à l'explication des prédictions multi-étiquettes. Nous avons proposé des explications multi-étiquettes à différents niveaux de granularité et étudié la combinaison d'explications mono-étiquette ainsi que les relations structurelles entre classes comme moyen de les générer. Enfin, nous nous sommes intéressés aux scores d'importance au niveau des caractéristiques pour déterminer dans quelle mesure chacune contribue à la sortie d'un modèle multi-étiquettes. Cette contribution examine deux possibilités différentes d'utiliser des méthodes existantes pour le single-label comme oracles ou d'utiliser des attributions de caractéristiques obtenues à partir d'explications symboliques. Afin d'évaluer la qualité des attributions de caractéristiques, nous étendons les propriétés de sensibilité, de stabilité des données au cas multi-étiquettes en plus d'une nouvelle propriété spécifique à la classification multi-étiquettes que nous appelons corrélation label-explication.

This thesis studies the problem of explaining individual predictions of black-box machine learning models. This problem is addressed in both single and multi-label classification.Firstly, we introduce an explanation approach representing a combination of SAT solving and numerical measures to develop a local model-agnostic method for providing both symbolic and score-based explanations. The idea is to take a single-label classifier, together with an instance, and produce a propositional formula that we will use to generate our explanations.A crucial component of the proposed approach is to approximate the model with another (simpler) one that does admit a tractable logical representation to efficiently enumerate explanations. To comply with the original predictor, the selected surrogate model needs to ensure fidelity. Subsequently, this trained model is used to generate formal and numerical explanations. However, we consider both cases where we can have the logical representation of the model as a whole or an approximation based on a surrogate model. In a second time, we consider a SAT framework with the aim of using SAT solvers as the problem solving engine. Given an unsatisfiable formula corresponding to a negative prediction, modern SAT solvers are able to report the cores generating an inconsistency.In this contribution, we provide two complementary types of symbolic explanations of unsatisfiability called sufficient reasons and counterfactuals centered around Minimal Unsatisfiable Subsets (MUS) and Minimal Correction Subsets (MCS) respectively. Secondly, we have worked on defining measures of the quality of an explanation and of a variable contribution to properly assess how relevant they are as it becomes necessary to focus on those providing more insights.Next, we have worked on defining possible explanation mechanisms to explain the outcomes of multi-label classifiers. We have introduced explanations at different granularity levels which go from structural relationships between labels to the selection of features. Finally, we were interested in feature-level importance scores for how much a given input feature contributes to a multi-label model’s output. This contribution looks into two different possibilities of using existing methods for single-label as oracles or using feature attributions obtained from symbolic explanations. In order to evaluate the quality of feature attributions, we extend the properties of sensitivity, data-stability to the multi-label setting in addition to a new property specific to multi-label classification we called label-explanation correlation.