Fondements de l'interprétabilité de l'apprentissage automatique

Foundations of machine learning interpretability

• Auteur / Autrice : Gianluigi Lopardo
• Direction : Damien Garreau, Frédéric Precioso
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques
• Date : Soutenance le 14/10/2024
• Etablissement(s) : Université Côte d'Azur
• Ecole(s) doctorale(s) : École doctorale Sciences fondamentales et appliquées
• Partenaire(s) de recherche : Laboratoire : Laboratoire J.-A. Dieudonné (Nice) - Institut national de recherche en informatique et en automatique (France). Unité de recherche (Sophia Antipolis, Alpes-Maritimes)
• Jury : Président / Présidente : Céline Hudelot
• Jury : Examinateurs / Examinatrices : Damien Garreau, Frédéric Precioso, Céline Hudelot, Jean-Michel Loubès, Ulrike von Luxburg, Tim Van Erven
• Jury : Rapporteur / Rapporteuse : Céline Hudelot, Jean-Michel Loubès

Mots clés

Mots clés contrôlés

Prise de décision -- Modèles mathématiques

Traitement automatique du langage naturel

Intelligence artificielle

Apprentissage basé sur l'explication

Apprentissage automatique

Mots clés libres

Interprétabilité de l’apprentissage automatique

IA explicable

Traitement du langage

Machine learning interpretability

Explainable AI

Natural language processing

Résumé

L'utilisation croissante de modèles complexes d'apprentissage automatique (ML), en particulier dans des applications critiques, a souligné le besoin urgent de méthodes d'interprétabilité. Malgré la variété de solutions proposées pour expliquer les décisions algorithmiques automatisées, comprendre leur processus de prise de décision reste un défi. Ce manuscrit examine l'interprétabilité des modèles ML, utilisant une analyse mathématique et une évaluation empirique pour comparer les méthodes existantes et proposer de nouvelles solutions. Notre principal objectif est sur les méthodes d'interprétabilité post-hoc, qui fournissent des informations sur le processus de prise de décision des modèles de ML après l'entraînement, indépendamment des architectures de modèles spécifiques. Nous nous intéressons plus particulièrement du langage naturel, explorant des techniques pour expliquer les modèles de texte. Nous abordons un défi clé : les méthodes d'interprétabilité peuvent produire des explications variées même pour des modèles apparemment simples. Cela met en évidence un problème critique : l'absence d'une base théorique solide pour ces méthodes. Pour tenter de résoudre ce problème, nous utilisons un cadre théorique rigoureux pour analyser formellement les techniques d'interprétabilité existantes, évaluant leur comportement et leurs limites. Sur cette base, nous proposons un nouvel explicateur pour fournir une approche plus fidèle et robuste pour interpréter les modèles de données textuelles. Nous nous engageons également dans le débat sur l'efficacité des poids d'attention comme outils explicatifs au sein des architectures de transformateurs puissants. Grâce à cette analyse, nous éclairons les forces et les limites des méthodes d'interprétabilité existantes et ouvrons la voie à des approches plus fiables et théoriquement fondées. Cela conduira à une compréhension plus profonde de la façon dont les modèles prennent des décisions, favorisant la confiance et le déploiement responsable dans les applications ML critiques.

The rising use of complex Machine Learning (ML) models, especially in critical applications, has highlighted the urgent need for interpretability methods. Despite the variety of solutions proposed to explain automated algorithmic decisions, understanding their decision-making process remains a challenge. This manuscript investigates the interpretability of ML models, using mathematical analysis and empirical evaluation to compare existing methods and propose novel solutions.Our main focus is on post-hoc interpretability methods, which provide insights into the decision-making process of ML models post-training, independent of specific model architectures. We delve into Natural Language Processing (NLP), exploring techniques for explaining text models.We address a key challenge: interpretability methods can yield varied explanations even for simple models. This highlights a critical issue: the absence of a robust theoretical foundation for these methods. To address this issue, we use a rigorous theoretical framework to formally analyze existing interpretability techniques, assessing their behavior and limitations.Building on this, we propose a novel explainer to provide a more faithful and robust approach to interpreting text data models. We also engage with the debate on the effectiveness of attention weights as explanatory tools within powerful transformer architectures.Through this analysis, we expose the strengths and limitations of existing interpretability methods and pave the way for more reliable, theoretically grounded approaches. This will lead to a deeper understanding of how complex models make decisions, fostering trust and responsible deployment in critical ML applications.