Méthodes robustes d'apprentissage profond inspirées d'algorithmes de traitement du signal

Robust Deep learning methods inspired by signal processing algorithms

Metode robuste de învăt, are profundă inspirate din algoritmi de procesare de semnal

• Auteur / Autrice : Ana-Antonia Neacșu
• Direction : Jean-Christophe Pesquet, Corneliu Burileanu
• Type : Thèse de doctorat
• Discipline(s) : Sciences du traitement du signal et des images
• Date : Soutenance le 04/12/2023
• Etablissement(s) : université Paris-Saclay en cotutelle avec Universitatea politehnica (Bucarest)
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Centre de vision numérique (Gif-sur-Yvette, Essonne)
• Partenaire(s) de recherche : Référent : CentraleSupélec (2015-....)
• Partenaire(s) de recherche : graduate school : Université Paris-Saclay. Graduate School Sciences de l’ingénierie et des systèmes (2020-….)
• Jury : Président / Présidente : Mihai Ciuc
• Jury : Examinateurs / Examinatrices : Nicu Sebe, Corneliu Rusu, Daniela Tărniceriu, Jean-Philippe Ovarlez, Franck Mamalet
• Jury : Rapporteur / Rapporteuse : Nicu Sebe, Corneliu Rusu

Mots clés

Mots clés contrôlés

Apprentissage machine

Réseaux neuronaux (informatique)

Mots clés libres

Optimisation robuste

Stabilité Lipschitz

Réseaux de neurones

Neural networks

Robust optimization

Lipschitz stability

Résumé

Comprendre l'importance des stratégies de défense contre les attaques adverses est devenu primordial pour garantir la fiabilité et la résilience des réseaux de neurones. Alors que les mesures de sécurité traditionnelles se focalisent sur la protection des données et des logiciels contre les menaces externes, le défi unique posé par les attaques adverses réside dans leur capacité à exploiter les vulnérabilités inhérentes aux algorithmes d'apprentissage automatique.Dans la première partie de la thèse, nous proposons de nouvelles stratégies d'apprentissage contraint qui garantissent la robustesse vis-à-vis des perturbations adverses, en contrôlant la constante de Lipschitz d'un classifeur. Nous concentrons notre attention sur les réseaux de neurones positifs pour lesquels des bornes de Lipschitz précises peuvent être déduites, et nous proposons différentes contraintes de norme spectrale offrant des garanties de robustesse, d'un point de vue théorique. Nous validons notre solution dans le contexte de la reconnaissance de gestes basée sur des signaux électromyographiques de surface (sEMG).Dans la deuxième partie de la thèse, nous proposons une nouvelle classe de réseaux de neurones (ACNN) qui peut être considérée comme un intermédiaire entre les réseaux entièrement connectés et ceux convolutionnels. Nous proposons un algorithme itératif pour contrôler la robustesse pendant l'apprentissage. Ensuite, nous étendons notre solution au plan complexe et abordons le problème de la conception de réseaux de neurones robustes à valeurs complexes, en proposant une nouvelle architecture (RCFF-Net) pour laquelle nous obtenons des bornes fines de la constante de Lipschitz. Les deux solutions sont validées en débruitage audio.Dans la dernière partie, nous introduisons les réseaux ABBA, une nouvelle classe de réseaux de neurones (presque) positifs, dont nous démontrons les propriétés d'approximation universelle.Nous déduisons des bornes fines de Lipschitz pour les couches linéaires ou convolutionnelles, et nous proposons un algorithme pour entraîner des réseaux ABBA robustes.Nous démontrons l'efficacité de l'approche proposée dans le contexte de la classification d'images.

Understanding the importance of defense strategies against adversarial attacks has become paramount in ensuring the trustworthiness and resilience of neural networks. While traditional security measures focused on protecting data and software from external threats, the unique challenge posed by adversarial attacks lies in their ability to exploit the inherent vulnerabilities of the underlying machine learning algorithms themselves.The first part of the thesis proposes new constrained learning strategies that ensure robustness against adversarial perturbations by controlling the Lipschitz constant of a classifier. We focus on nonnegative neural networks for which accurate Lipschitz bounds can be derived, and we propose different spectral norm constraints offering robustness guarantees from a theoretical viewpoint. We validate our solution in the context of gesture recognition based on Surface Electromyographic (sEMG) signals.In the second part of the thesis, we propose a new class of neural networks (ACNN) which can be viewed as establishing a link between fully connected and convolutional networks, and we propose an iterative algorithm to control their robustness during training. Next, we extend our solution to the complex plane and address the problem of designing robust complex-valued neural networks by proposing a new architecture (RCFF-Net) for which we derive tight Lipschitz constant bounds. Both solutions are validated for audio denoising.In the last part, we introduce ABBA Networks, a novel class of (almost) non-negative neural networks, which we show to be universal approximators. We derive tight Lipschitz bounds for both linear and convolutional layers, and we propose an algorithm to train robust ABBA networks. We show the effectiveness of the proposed approach in the context of image classification.