Approches symboliques pour une intelligence artificielle explicable

Symbolic approaches for explainable artificial intelligence

• Auteur / Autrice : Matthieu Bellucci
• Direction : Cecilia Zanni-Merk
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 01/12/2023
• Etablissement(s) : Normandie
• Ecole(s) doctorale(s) : École doctorale mathématiques, information et ingénierie des systèmes (Caen)
• Partenaire(s) de recherche : Établissement co-accrédité : Institut national des sciences appliquées Rouen Normandie (Saint-Etienne-du-Rouvray ; 1985-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique, de traitement de l'information et des systèmes (Saint-Etienne du Rouvray, Seine-Maritime ; 2006-...)
• Jury : Président / Présidente : Marie-Hélène Abel
• Jury : Examinateurs / Examinatrices : Cecilia Zanni-Merk, Christophe Cruz, Pierre Marquis, Nicolas Delestre, Nicolas Malandain, Claudia Frydman
• Jury : Rapporteur / Rapporteuse : Christophe Cruz, Pierre Marquis

Mots clés

Mots clés contrôlés

Apprentissage automatique

Web sémantique

Ontologies (informatique)

Intelligence artificielle

Mots clés libres

Intelligence artificielle explicable

Intelligence artificielle symbolique

Xai

Explainable AI

XAI

Explanations

Ontology

Symbolic AI

Semantic technologies

Machine learning

Résumé

L'adoption généralisée de l'IA est due aux progrès considérables réalisés par les modèles d’apprentissage automatique en termes de performances. Ces algorithmes sont appliqués pour aider les décideurs dans des domaines sensibles tels que la santé ou la justice. Ces modèles sont communément appelés boîtes noires car il est impossible de comprendre leur processus de décision et l’influence de chaque caractéristique sur le résultat. Cette opacité peut cacher des décisions discriminatoires qui peuvent avoir un impact sur la vie d’une personne. C’est pourquoi la communauté scientifique a commencé à étudier la conception d’une IA explicable (XAI). Une direction prometteuse pour le développement d’une IA puissante et explicable est la combinaison d’approches symboliques de l’IA avec des modèles d’apprentissage automatique, résultant en des méthodes neurosymboliques. Alors que les modèles d’apprentissage automatique sont préférés pour leurs performances, les méthodes d’IA symbolique sont connues pour être explicables car elles exploitent les connaissances et la logique humaines pour prendre une décision. En outre, les ontologies ont été identifiées comme des candidates idéales pour la conception d’algorithmes d’IA explicables. Pourtant, les travaux actuels sur les techniques neurosymboliques se concentrent sur l’amélioration des performances plutôt que sur la conception de systèmes d’IA explicables, malgré leur potentiel à fournir des explications. Par conséquent, cette thèse est consacrée à l’exploration des applications des méthodes symboliques d’IA pour créer un système d’IA explicable. Au préalable, une étude de la terminologie de la XAI est menée, car des notions importantes ne sont pas clairement définies dans la littérature. Une terminologie est introduite qui identifie et définit les termes récurrents de la XAI qui sont ambiguës dans la littérature. La principale conclusion est qu’une explication est un processus interactif qui détermine un ensemble de causes ayant conduit au résultat d’un système d’IA. Ensuite, nous présentons un classificateur d’images basé sur une ontologie (OBIC) capable de détecter les erreurs dans ses prédictions. Ce système exploite une ontologie qui décrit le domaine d’application pour former des modèles d’apprentissage automatique capables de détecter la classe de l’image et un ensemble de propriétés définies dans l’ontologie, comme la texture ou la couleur d’un objet. Une incohérence dans les prédictions est détectée par l’ontologie et signifie qu’il y a eu une erreur dans la classification, ce qui aide l’utilisateur à décider s’il doit faire confiance à la prédiction finale. En outre, les prédictions des modèles d’apprentissage automatique sont fondées sur la connaissance du domaine, ce qui facilite la compréhension et l’explication de la prédiction. Nous avons construit une interface d’explication qui extrait des informations utiles de ce système et formule des explications adéquates. Afin d’expliquer l’étape de détection des erreurs du système intelligent explicable, nous devons concevoir une méthode d’explication pour les ontologies adaptée à la plupart des utilisateurs. Parmi les techniques d’explication les plus populaires, les explications contrefactuelles semblent présenter de nombreux avantages et font l’objet d’études approfondies pour expliquer les modèles d’apprentissage automatique. Nous proposons une méthode de génération d’explications contrefactuelles pour les ontologies. Elle est adaptée pour expliquer le fonctionnement de l’ontologie aux non-initiés, ce qui rend cette solution idéale pour expliquer l’étape de détection des erreurs. Enfin, nous évaluons nos contributions sur une tâche de classification d'images. La qualité et la validité de la phase de détection des erreurs sont testées et analysées. Une étude utilisateur à petite échelle est menée avec des experts du domaine pour évaluer la pertinence et la qualité des explications contrefactuelles générées.

The widespread adoption of AI is due to the significant progress in performance achieved by machine learning models. These algorithms are being applied to assist decision-makers in sensitive domains such as healthcare, justice or banking. These models are commonly called black-boxes as it is impossible to comprehend their decision process. This opacity can hide discriminatory decisions that have the potential to impact someone's life. As a result, scientific communities have started investigating the design of an explainable AI (XAI). A promising direction for the development of a powerful and explainable AI is the combination of symbolic AI approaches with machine learning models, resulting in neurosymbolic methods. While machine learning models are preferred for their performance, symbolic AI methods are known to be explainable as they exploit human knowledge and logic to make a decision. Furthermore, ontologies have been identified as ideal candidates for the design of explainable AI algorithms. Yet, the current work on neurosymbolic techniques is focused on improving the performance rather than designing explainable AI systems. Consequently, this thesis is dedicated to exploring applications of symbolic AI methods to create an explainable AI system. Beforehand, a study of the terminology of XAI is conducted, as important notions are not clearly defined. A terminology is introduced that identifies and defines recurring terms of XAI that are ambiguous in the literature. The main finding is that an explanation is the result an interactive process that determines a set of causes that led to the outcome of an AI system. Then, we introduce an ontology-based image classifier (OBIC) capable of detecting errors in its predictions. This system exploits an ontology that describes the domain of application. This ontology is used to train machine learning classifiers that identify the class and a set of properties visible in an image e.g. the texture or color of an object. An inconsistency in the predictions is detected by the ontology and signifies that there was an error in the classification, thus helping a user to decide whether to trust the final prediction. Moreover, the predictions from the machine learning models are grounded in domain knowledge to facilitate the comprehension and explanation of the prediction. Explanations are the result of an interactive process, hence we built an explanation interface that extracts useful information from this system and formulates adequate explanations. In order to explain the error detection step from OBIC, we need to design an explanation method for ontologies. Among the most popular explanation techniques, counterfactual explanations seem to present many advantages and are being heavily studied to explain machine learning models. We propose the CEO method (Counterfactual Explanations for Ontologies) to generate such explanations for ontologies. It is adapted to explain the functioning of the ontology to laypersons making this solution ideal to explain the error detection step. It is also suited to assist the ontology designer in the debugging phase by highlighting unexpected inferences caused by design issues. Finally, we evaluate our contributions on an image classification task. The quality and validity of the error detection phase are tested and analyzed. Similarly, a small scale user study is conducted with domain experts to evaluate the relevance and quality of the generated counterfactual explanations.