Vérification de la robustesse des réseaux de neurones à l'aide de l'optimisation polynomiale

Robustness verification of neural networks using polynomial optimization

• Auteur / Autrice : Tong Chen
• Direction : Edouard Pauwels, Victor Magron
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques appliquées
• Date : Soutenance le 02/12/2022
• Etablissement(s) : Toulouse 3
• Ecole(s) doctorale(s) : École doctorale Mathématiques, informatique et télécommunications (Toulouse)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'Analyse et d'Architecture des Systèmes (Toulouse ; 1968-....)
• Jury : Président / Présidente : Alexandre d' Aspremont
• Jury : Examinateurs / Examinatrices : David Steurer
• Jury : Rapporteurs / Rapporteuses : Yohann de Castro, Lihong Zhi

Mots clés

Mots clés contrôlés

Loi multinomiale

Commande robuste

Réseaux neuronaux (informatique)

Mots clés libres

Vérification de robustesse

Constante de Lipschitz

Réseau de neurones

Optimisation polynomiale

Programmation semi-définie

Hiérarchie moment-somme de carrés

Robustness verification

Lipschitz constant

Neural network

Polynomial optimization

Semidefinite programming

Moment-sum of squares hierarchy

Résumé

Les réseaux de neurones (RN) sont largement et avec succès utilisés pour de nombreuses tâches d'apprentissage automatique à grande échelle et complexes, telles que la classification d'images, le système de recommandation de reconnaissance vocale, et ont attiré l'attention de nombreux chercheurs de la communauté. Cependant, même si les réseaux de neurones sont puissants, ils ne sont généralement ni robustes ni fiables. Cela signifie que, pour certains exemples d'entrées, les classificateurs de réseaux de neurones peuvent produire des prédictions instables de leurs étiquettes, c'est-à-dire que les classificateurs sont sensibles aux petits changements d'entrée, ce qui est problématique dans certains domaines cruciaux comme la conduite auto-mobile ou l'aérospatiale. Par conséquent, la robustesse des réseaux de neurones est devenue un problème critique dans la communauté de l'apprentissage automatique ces dernières années. La robustesse a principalement deux facettes : une formation robuste des RN et une vérification robuste des RN. Dans cette thèse, nous nous concentrons principalement sur la vérification de la robustesse des RN pré-formés. Sur la base de la programmation semi-définie, nous développons d'abord une hiérarchie de sous-niveaux pour les problèmes d'optimisation polynomiale, puis nous l'appliquons à la vérification de robustesse des RN. Nos approches montrent des améliorations empiriques par rapport à d'autres méthodes connexes.

Neural networks (NN) are widely and successfully used for many large-scale and complex machine learning tasks, such as image classification, voice recognition recommender system, and have attracted the attention of many community researchers. However, even though neural networks are powerful, they are generally neither robust nor reliable. This means that, for some input examples, neural network classifiers can produce unstable predictions of their labels, i.e. classifiers are sensitive to small input changes, which is problematic in some crucial areas such as auto-driving or aerospace. Therefore, the robustness of neural networks has become a critical issue in the machine learning community in recent years. Robustness for NNs has two main facets: robust training and robust verification. In this thesis, we mainly focus on verifying the robustness of pre-trained NNs. Based on semi-definite programming, we first develop a sublevel hierarchy for polynomial optimization problems and then apply it to robustness verification of NNs. Our approaches show empirical improvements over other related methods.