Élaboration d'Explications Visuelles des Décisions de Classifieurs entrainés par Apprentissage Profond en Imagerie Médicale

Designing Visual Explanations of Deep Learning Classifiers Decisions in Medical Image Analysis

• Auteur / Autrice : Martin Charachon
• Direction : Paul-Henry Cournède, Céline Hudelot, Roberto Ardon
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques appliquées
• Date : Soutenance le 18/01/2023
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale INTERFACES : approches interdisciplinaires, fondements, applications et innovation
• Partenaire(s) de recherche : Laboratoire : Mathématiques et informatique pour la complexité et les systèmes (Gif-sur-Yvette, Essonne ; 2006-....)
• Partenaire(s) de recherche : référent : CentraleSupélec (2015-....)
• Partenaire(s) de recherche : graduate school : Université Paris-Saclay. Graduate School Sciences de l'ingénierie et des systèmes (2020-....)
• Jury : Président / Présidente : Hugues Talbot
• Jury : Examinateurs / Examinatrices : Nataliya Sokolovska, Diana Carolina Mateus Lamus, Laurence Rouet, Damien Garreau
• Jury : Rapporteurs / Rapporteuses : Nataliya Sokolovska, Diana Carolina Mateus Lamus

Mots clés

Mots clés contrôlés

Intelligence artificielle

Imagerie médicale

Apprentissage profond

Mots clés libres

Explications visuelles

Apprentissage machine

Apprentissage profond

Interprétabilité

Imagerie médicale

Radiologue dans la boucle

Visual explanations

Machine learning

Deep learning

Interpretability

Medical image

Radiologist in the loop

Résumé

Les solutions d'intelligence artificielle (IA) révolutionnent le protocole de travail en radiologie, de l'acquisition des images au diagnostic. Parmi ces solutions, les modèles d'apprentissage profond atteignent des performances de plus en plus précises et rivalisent avec les cliniciens sur certains problèmes d'imagerie médicale. Ces solutions visent à faire évoluer la pratique des radiologues en leur apportant une aide supplémentaire. Cependant, les résultats de ces modèles sont souvent fournis aux radiologues sans aucune argumentation. Cela diffère nettement de leur pratique clinique (notamment pour les problèmes de diagnostic clinique), où les observations faites lors de l'examen d'imagerie conduisent à un diagnostic qui est communiqué à leurs pairs avec des explications. En parallèle, les modèles d'apprentissage profond s'appuient sur des architectures complexes (réseaux de neurones avec des milliers voire millions de paramètres) pour atteindre des performances élevées au prix d'une perte de transparence (boîte noire), c'est-à-dire que leur raisonnement et leur résultats sont peu, voire pas explicables.Dans cette thèse, nous développons des techniques explications visuelles pour comprendre les décisions de modèles de classification, entraînés sur un problème d'imagerie médicale. Notre outil vise les utilisateurs cliniciens et les concepteurs du modèle. Il met en évidence les régions de l'image qui sont pertinentes pour le modèle, fournit un aperçu de leurs forces et faiblesses, et des idées pour les améliorer.En s'appuyant sur certaines spécificités des images médicales, nous proposons une formulation générale pour fournir des explications visuelles en adoptant une perspective de génération d'images. Nous définissons un ensemble de propriétés qui contraignent l'optimisation de deux modèles génératifs conditionnels et garantissent les objectifs de l'explication visuelle. Notre formulation exploite les techniques de transposition de domaine pour produire une image stable et contrefactuelle appartenant à la distribution des données. Ces images étant classées similairement et différemment de l'image étudiée, respectivement.Notre explication visuelle est composée de (i) cet exemple contrefactuel, montrant les transformations réalistes qui différencient les décisions du modèle ; (ii) et une carte d'attribution basée sur la différence entre les deux images générées (stable et contrefactuelle). Cette carte d'attribution met en avant les régions de l'image les plus pertinentes pour le modèle.Nous proposons différentes implémentations de la formulation générale en ajoutant incrémentalement les propriétés. Nous validons notre méthodologie par des expériences exhaustives sur deux problèmes d'imagerie médicale. Nous démontrons que nos méthodes (i) surpassent les techniques d'attribution de l'état de l'art sur plusieurs métriques d'évaluation, (ii) peuvent identifier les biais dans l'entraînement du modèle et fournir des indications pour l'améliorer, (iii) et peuvent être étendues à d'autres problèmes de classification satisfaisant certaines contraintes. Enfin, nous montrons quelques cas d'utilisation de la solution Keros (produit d'Incepto), qui analyse les problèmes de genoux en imagerie IRM.

Artificial intelligence (AI) solutions are revolutionizing radiology workflow, from image acquisition to diagnosis. Among these solutions, deep learning models achieve increasingly accurate performance and compete with clinicians on some medical imaging problems. These solutions aim to evolve the radiologists' practice by providing them with additional assistance. However, the results of these models are often provided to radiologists without argumentation. This differs from their clinical practice (especially for clinical diagnosis problems), where the observations made on the imaging examination lead to a diagnosis that is communicated to peers with explanations. In parallel, deep learning models leverage complex architectures (neural networks) to reach high performances at the cost of being a black box, i.e., its reasoning and results being little or not explicable.In this thesis, we design and develop visual explanations to understand the decisions of classification models trained to solve a medical imaging problem. Our tool targets the clinician end-users and the model's designers. It highlights image regions relevant to the models, provides insights into their forces and weaknesses, and hints for improvement.Based on the specificities of medical images, we propose a general formulation to provide visual explanations through an image generation perspective. We define a set of properties to ensure the objectives of the visual explanation in this context. We enforce them as constraints to the optimization procedure of two conditional generative models. Our formulation leverages domain translation techniques to produce an in-distribution stable and counterfactual image, classified similarly and oppositely to the input.Our visual explanation brings together (i) this counterfactual example, showing the realistic transformations that differentiate the model decisions; (ii) and an attribution map based on the difference between the two generated images (i.e., stable and counterfactual). The attribution map highlights the most relevant regions of the input to the model.We propose different implementations of the general formulation by adding the properties incrementally. We validate our methodology through exhaustive experiments on two medical imaging problems. We demonstrate our methods (i) outperform state-of-the-art attribution techniques on several evaluation metrics, (ii) can identify confounding training bias and provide hints for improvements, (iii) and can be extended to other classification problems satisfying certain constraints. Finally, we show some use cases for the Keros solution (Incepto's product), which analyzes knee problems in MRI imaging.