Analyse de sensibilité et de robustesse des réseaux de neurones par le calcul conservateur

Sensitivity and robustness analysis of neural networks by conservative calculus

• Auteur / Autrice : Ryan Boustany
• Direction : Jérome Bolte, Edouard Pauwels
• Type : Projet de thèse
• Discipline(s) : Mathématiques et Applications
• Date : Inscription en doctorat le 01/11/2021
• Etablissement(s) : Toulouse 1
• Ecole(s) doctorale(s) : École doctorale Mathématiques, informatique et télécommunications
• Partenaire(s) de recherche : Laboratoire : TSE-R - Toulouse School of Economics - Recherche

Mots clés

Mots clés libres

Optimisation

Réseaux de neurones

Différentiation algorithmique

Optimization

Neural networks

Automatic differentiation

Résumé

Ce sujet de thèse traite de l'étude des propriétés de la sensibilité des prédictions générées par les réseaux de neurones. De nombreux travaux ont abordé la question, mais il manque aux approches récentes l'utilisation d'une théorie rigoureuse de la différentiation automatique non lisse. En effet cette dernière est, à ce jour, la seule manière simple et rapide d'évaluer numériquement les variations d'un réseau non lisse (basé par exemple sur ReLU, max pooling). Ce projet vise à proposer des protocoles d'analyse de sensibilité des réseaux de neurones et des algorithmes s'accompagnant de garanties théoriques basée sur le calcul conservatif. Les chercheurs ANITI qui participent à l'encadrement de ce sujet de thèse ont démontré dans des travaux récents que les approches typiques de différentiation algorithmique dans les librairies très utilisées pour l'apprentissage profond (PyTorch, TensorFlow) soulèvent des problèmes mathématiques notables. Ils ont posé les bases théoriques d'un calcul via autodiff, nommé calcul conservatif. Ces résultats semblent prometteurs et suscitent un fort intérêt de la communauté scientifique en apprentissage profond. Le sujet de thèse vise en particulier à tirer partie de cette dynamique de recherche avec comme objectif de développer des outils quantitatifs de robustesse pour les réseaux de neurones.

This thesis topic deals with the study of the sensitivity properties of predictions generated by neural networks. Many works have addressed this issue, but recent approaches lack the use of a rigorous theory of automatic non-smooth differentiation. Indeed, the latter is, to date, the only simple and fast way to numerically evaluate the variations of a non-smooth network (based for example on ReLU, max pooling). This project aims at proposing sensitivity analysis protocols for neural networks and algorithms with theoretical guarantees based on conservative computation. The ANITI researchers who participate in the supervision of this thesis topic have demonstrated in recent works that typical algorithmic differentiation approaches in widely used deep learning libraries (PyTorch, TensorFlow) raise significant mathematical problems. They have laid the theoretical foundations for a computation via autodiff, called conservative computation. These results seem to be promising and are of great interest to the scientific community in deep learning. This thesis aims at taking advantage of this research momentum with the objective of developing quantitative robustness tools for neural networks.