Progrès récents en matière d’explicabilité formelle

Recent advances in formal explainability

• Auteur / Autrice : Xuanxiang Huang
• Direction : Joao Marques-Silva, Nicholas Asher
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 14/12/2023
• Etablissement(s) : Toulouse 3
• Ecole(s) doctorale(s) : École doctorale Mathématiques, informatique et télécommunications (Toulouse)
• Partenaire(s) de recherche : Laboratoire : Institut de Recherche en Informatique de Toulouse (1995-....)
• Jury : Président / Présidente : Claire Pagetti
• Jury : Examinateurs / Examinatrices : Jérôme Lang, Francesco Ricca
• Jury : Rapporteurs / Rapporteuses : Saddek Bensalem, Felip Manyà

Mots clés

Mots clés contrôlés

Apprentissage basé sur l'explication

Intelligence artificielle explicable

Mots clés libres

IA explicable

Explicabilité formelle

Raisonnement automatisé

Explainable AI

Formal explainability

Automated reasoning

Résumé

Au cours de la dernière décennie, des avancées monumentales dans le domaine de l'Intelligence Artificielle (IA), en particulier dans l'Apprentissage Automatique (Machine Learning, ML), ont façonné divers domaines. L'intégration généralisée de modèles ML complexes dans divers aspects de la vie quotidienne, notamment dans les domaines de la santé, de la finance et des transports, a créé une demande urgente de transparence et de responsabilité dans les systèmes de ML. Malheureusement, le fonctionnement des modèles ML les plus performants est incompréhensible pour les décideurs humains, ce qui rend difficile pour les utilisateurs, les régulateurs et les parties prenantes de comprendre le raisonnement à la base de leurs décisions. Ce manque de transparence peut entraîner plusieurs problèmes critiques, notamment des biais et des résultats injustes, une mise en danger de la sécurité dans des applications critiques, et une non-conformité réglementaire. En réponse à ces défis, le domaine de l'Intelligence Artificielle Explicable (eXplainable AI, XAI) a émergé en tant que domaine de recherche crucial. Le XAI vise à combler l'écart entre le fonctionnement interne des systèmes d'IA/ML et la compréhension humaine pour établir une IA digne de confiance. Son importance est soulignée par les directives, recommandations et réglementations de grandes organisations (par exemple, l'Union Européenne, l'UNESCO). Le XAI offre plusieurs avantages, notamment l'amélioration de la confiance dans les systèmes d'IA, la réduction des biais, l'amélioration de la sécurité dans les véhicules autonomes, entre autres. Cependant, la plupart des approches de XAI qui ont attiré le plus d'attention sont communément appelées méthodes agnostiques au modèle (par exemple, LIME, SHAP). Plus important encore, les méthodes de XAI agnostiques au modèle ne garantissent pas de rigueur et peuvent produire des explications illogiques. Les limitations inhérentes à ces approches de XAI non formelles posent un défi substantiel à la fiabilité des explications agnostiques au modèle, en particulier dans des contextes classés comme à haut risque ou critiques pour la sécurité. En alternative, une tendance croissante se dessine dans l'application de techniques de raisonnement automatisé pour expliquer et vérifier les modèles ML, largement connue sous le nom d'XAI formel. Cette approche est basée sur la logique et spécifique au modèle, conçue pour fournir des explications formelles. Ces explications formelles se caractérisent par leur rigueur et leur démontrabilité, les distinguant des méthodes de XAI non formelles. La thèse se penche sur les méthodes d'XAI formel, contribuant au développement de l'explicabilité formelle et offrant des aperçus sur l'évolution de la recherche en XAI. La thèse aborde également divers aspects des explications formelles pour les classificateurs d'apprentissage automatique. Premièrement, la thèse identifie les conditions permettant le calcul d'explications formelles en temps polynomial pour une classe de modèles graphiques gérables (par exemple, les arbres de décision et les circuits d-DNNF). Elle fournit également des méthodes pratiques et efficaces pour énumérer ces explications. Deuxièmement, la thèse propose des solutions pratiques pour transformer les arbres de décision en ensembles de décisions expliqués, améliorant leur explicabilité. Troisièmement, la thèse examine la complexité informatique des requêtes spécifiques en matière d'explicabilité au sein de différents classificateurs (par exemple, les forêts aléatoires), accompagnée d'approches pratiques et efficaces pour résoudre ces problèmes. Enfin, la thèse compare les valeurs de Shapley aux explications formelles et met en lumière certaines problématiques liées aux valeurs de Shapley dans le domaine de l'explicabilité.

In the past decade, monumental breakthroughs in Artificial Intelligence (AI), particularly in Machine Learning (ML), have shaped various fields. The widespread integration of complex ML models into various aspects of daily life, including healthcare, finance, and transportation, has created an urgent demand for transparency and accountability in ML systems. Unfortunately, the operation of the most successful ML models is incomprehensible for human decision makers, making it challenging for users, regulators, and stakeholders to comprehend the reasoning behind their decisions. This lack of transparency can lead to several critical issues, including bias and unfair outcomes, jeopardized safety in safety-critical applications, and regulatory non-compliance. In response to these challenges, the field of eXplainable AI (XAI) has emerged as a crucial research domain. XAI aims to bridge the gap between the inner workings of AI/ML systems and human understanding to establish trustworthy AI. Its significance is underscored by guidelines, recommendations, and regulations from influential bodies (e.g. European Union, UNESCO). XAI offers several benefits, including enhancing trust in AI systems, mitigating biases, improving safety in autonomous vehicles, among others. However, most of XAI approaches that have gained the most attention are commonly known as model-agnostic methods (e.g. LIME, SHAP). More importantly, model-agnostic XAI methods offer no guarantees of rigor and may produce logically unsound explanations. The limitations inherent in these non-formal XAI approaches pose a substantial challenge to the dependability of model-agnostic explanations, particularly in contexts classified as high-risk or safety-critical. As an alternative, there is a growing trend in the application of automated reasoning techniques for explaining and verifying ML models, broadly known as formal XAI. This approach is a logic-based and model-specific, designed to deliver formal explanations. These formal explanations are characterized by their rigor and provability, distinguishing them from non-formal XAI methods. The thesis delves into formal XAI methods, contributing to the development of formal explainability and offering insights into the evolving landscape of XAI research. The thesis also addresses various aspects of formal explanations for machine learning classifiers. Firstly, the thesis identifies the conditions enabling the computation of formal explanations in polynomial time for a class of tractable graph models (e.g. decision trees and d-DNNF circuits). It also provides practical and efficient methods for enumerating these explanations. Secondly, the thesis offers practical solutions for transforming decision trees into explained decision sets, enhancing their explainability. Thirdly, the thesis investigates the computational complexity of specific explainability queries across various classifiers (e.g. random forests), accompanied by practical and efficient problem-solving approaches. Lastly, the thesis compares Shapley values with formal explanations and reveals some issues associated with Shapley values in the field of explainability.