Caractérisation d'un Domaine de Fiabilité des Classifieurs d'Images

Characterization of a Reliability Domain for Image Classifiers

• Auteur / Autrice : Adrien Le Coz
• Direction : Stéphane Herbin, Faouzi Adjed
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 19/12/2024
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication
• Partenaire(s) de recherche : Laboratoire : Office national d'études et recherches aérospatiales (France). Département Traitement de l’Information et Systèmes (2017-....)
• Partenaire(s) de recherche : Référent : Faculté des sciences d'Orsay
• Partenaire(s) de recherche : graduate school : Université Paris-Saclay. Graduate School Informatique et sciences du numérique (2020-....)
• Partenaire(s) de recherche : Institution : Institut de recherche technologique SystemX (Palaiseau, Essonne)
• Jury : Président / Présidente : Mathilde Mougeot
• Jury : Examinateurs / Examinatrices : Ahmed Samet, Liming Chen, Frédéric Jurie
• Jury : Rapporteur / Rapporteuse : Ahmed Samet, Liming Chen

Mots clés

Mots clés contrôlés

Mesures de sécurité

Vision par ordinateur

Apprentissage profond

Apprentissage automatique

Intelligence artificielle

Mots clés libres

Intelligence Artificielle

Apprentissage Profond

Vision par Ordinateur

IA de Confiance

Artificial Intelligence

Deep Learning

Computer Vision

Trustworthy AI

Résumé

Les réseaux de neurones profonds ont révolutionné le domaine de la vision par ordinateur. Ces modèles apprennent une tâche de prédiction à partir d'exemples. La classification d'images consiste à identifier l'objet principal présent dans l'image. Malgré de très bonnes performances des réseaux de neurones sur cette tâche, il arrive fréquemment qu'ils se trompent de façon imprévue. Cette limitation est un frein à leur utilisation pour de nombreuses applications. L'objectif de cette thèse est d'explorer des moyens de définir un domaine de fiabilité qui expliciterait les conditions pour lesquelles un modèle est fiable. Trois aspects ont été considérés. Le premier est qualitatif : générer des exemples extrêmes synthétiques permet d'illustrer les limites d'un classifieur et de mieux comprendre ce qui le fait échouer. Le second aspect est quantitatif : la classification sélective permet au modèle de s'abstenir en cas de forte incertitude, et la calibration permet de mieux quantifier l'incertitude de prédiction. Enfin, le troisième aspect est d'inclure de la sémantique : des modèles multimodaux qui associent images et texte sont utilisés pour décrire textuellement les images susceptibles de provoquer de mauvaises, ou inversement, de bonnes prédictions.

Deep neural networks have revolutionized the field of computer vision. These models learn a prediction task from examples. Image classification involves identifying the main object present in the image. Despite the very good performance of neural networks on this task, they often fail unexpectedly. This limitation prevents them from being used in many applications. The goal of this thesis is to explore methods for defining a reliability domain that would clarify the conditions under which a model is trustworthy. Three aspects have been considered. The first is qualitative: generating synthetic extreme examples helps illustrate the limits of a classifier and better understand what causes it to fail. The second aspect is quantitative: selective classification allows the model to abstain in cases of high uncertainty, and calibration helps better quantify prediction uncertainty. Finally, the third aspect involves semantics: multimodal models that associate images and text are used to provide textual descriptions of images likely to lead to incorrect or, conversely, to correct predictions.