Rοbustesse des réseaux de neurοnes prοfοnds classifieurs d'images aux exemples adversaires pertinents

Rοbustness οf neural netwοrk image classifiers tο meaningful adversarial examples

• Auteur / Autrice : Lucas Anquetil
• Direction : Stéphane Canu
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 07/11/2023
• Etablissement(s) : Normandie
• Ecole(s) doctorale(s) : École doctorale mathématiques, information et ingénierie des systèmes (Caen)
• Partenaire(s) de recherche : Établissement co-accrédité : Institut national des sciences appliquées Rouen Normandie (Saint-Etienne-du-Rouvray ; 1985-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique, de traitement de l'information et des systèmes (Saint-Etienne du Rouvray, Seine-Maritime ; 2006-...)
• Jury : Président / Présidente : Samia Ainouz
• Jury : Examinateurs / Examinatrices : Stéphane Canu, Stéphane Herbin, Ileana Ober, Amaury Habrard
• Jury : Rapporteur / Rapporteuse : Stéphane Herbin, Ileana Ober

Mots clés

Mots clés contrôlés

Transport optimal de mesure

Réseaux neuronaux (informatique)

Apprentissage profond

Apprentissage automatique

Mots clés libres

Exemple adversaire

Attaque adversaire

Evaluation de la robustesse

Apprentissage par dictionnaire

Machine learning

Deep learning

Neural networks

Adversarial exemple

Adversarial attack

Security

Robustness evaluation

Dictionary learning

Optimal transport

Résumé

L'apprentissage automatique révolutionne le monde de nombreuses manières en permettant la création de systèmes intelligents capables d'effectuer des tâches complexes. En médecine, les systèmes d'apprentissage automatique sont utilisés pour analyser des données médicales et identifier des motifs qui peuvent aider les médecins à diagnostiquer les maladies de manière plus précise. Dans le domaine du commerce, les systèmes d'apprentissage automatique sont largement utilisés pour personnaliser l'expérience d'achat des clients en recommandant des produits en fonction de leur historique et de leur comportement de navigation. Dans le secteur du transport, l'apprentissage automatique est au cœur du développement des voitures autonomes, des véhicules qui seraient capable de circuler sans intervention humaine pour lesquels une évaluation de la robustesse est primordiale. Le problème abordé dans cette thèse est celui de l'évaluation de la robustesse des réseaux de neurones profonds en tant que classifieur d'images à l'aide d'exemples adversaires, c'est-à-dire des exemples originaux auxquels est ajouté une perturbation, imperceptible à l'œil nu, changeant la sortie des classifieurs. Plus précisément, nous proposons une méthode de calcul de ces perturbations adversaires à l'aide d'un dictionnaire, un ensemble d'images apprises à partir d'un classifieur et d'un jeu de données. Nous remettons également en question la qualité des métriques utilisées pour calculer les distances entre deux images, afin d'estimer de manière fiable une mesure de robustesse pertinente des classifieurs d'images. Dans une première contribution, nous proposons une nouvelle manière de tromper les classifieurs. Tout en étant compétitive avec les méthodes de l'état de l'art, cette approche permet d'apprendre un dictionnaire d'images dont une certaine combinaison linéaire produit une telle perturbation adversaire.Ce dictionnaire permet de construire des perturbations adversaires universelles, indépendantes des exemples originaux, et transférables, efficaces pour tromper d'autres classifieurs.Le dictionnaire appris, permet aussi de visualiser les formes élémentaires à la base des perturbations adversaires. Dans une deuxième contribution, nous proposons d'apprendre une mesure de similarité entre images en optimisant la matrice de coût de la distance de Wasserstein entre leurs représentations issues d'un réseau de neurones. Utiliser les représentations des images permet de calculer des similarités plus pertinentes et réalistes qu'en utilisant leurs pixels.En effet, les distances d'images basées sur les pixels ne considèrent pas la sémantique. Notre proposition permet d'explorer la richesse des représentations apprises, afin de construire une distance de Wasserstein pertinente. Disposer d'une telle mesure de similarité pertinente entre images peut s'avérer utile lorsque l'on travaille sur des applications de vision par ordinateur pour lesquelles des vies sont en jeu.

Machine learning is revolutionizing the world in many ways, enabling the creation of artificial systems capable of performing complex tasks. In medicine, machine learning systems are used to analyze medical data and identify patterns helping doctors to diagnose diseases more accurately. In retail, machine learning systems are widely used to personalize customers' shopping experience by recommending products based on their browsing history and behavior. In the transportation sector, machine learning is at the heart of the development of autonomous cars, vehicles that would be capable of driving without human intervention, for which a robustness assessment is of paramount importance. The problem addressed in this thesis is the robustness evaluation of deep neural networks as image classifiers using adversarial examples, which are original examples to which a perturbation, imperceptible to the human eye, is added changing the classifiers' output. More precisely, we propose a method to compute these adversarial perturbations using a dictionary, a set of images learned from a classifier, and a dataset. We also question the quality of the metrics used to compute distances between two images, leading to reliable estimation of a relevant robustness measure of image classifiers. In a first contribution, we propose a new way to fool classifiers. While competitive with state-of-the-art methods, this approach learns a dictionary of images for which a certain linear combination produces such an adversarial perturbation. This dictionary makes it possible to construct universal adversarial perturbations, independent of the original examples, and transferable, effective for fooling other classifiers. The learned dictionary also makes it possible to visualize the elementary shapes underlying the creation of adversarial perturbations. In a second contribution, we propose to learn a similarity measure between images by optimizing the cost matrix of the Wasserstein distance between their representations derived from a neural network. Using image representations enables to compute more relevant and realistic similarities than using their pixels. Pixel-based image distances don't take semantics into account. Our proposal makes it possible to explore the richness of learned representations, to construct a relevant Wasserstein distance. Having such a relevant similarity measure between images may reveal useful when working on life-at-risk computer vision applications.