Apprentissage profond avec contraintes Lipschitz

Deep learning with Lipschitz constraints

• Auteur / Autrice : Louis Béthune
• Direction : Mathieu Serrurier
• Type : Thèse de doctorat
• Discipline(s) : Informatique et Télécommunications
• Date : Soutenance le 07/02/2024
• Etablissement(s) : Université de Toulouse (2023-....)
• Ecole(s) doctorale(s) : École doctorale Mathématiques, informatique et télécommunications (Toulouse)
• Partenaire(s) de recherche : Laboratoire : Institut de Recherche en Informatique de Toulouse (1995-....)
• Jury : Président / Présidente : Loïc Barthe
• Jury : Examinateurs / Examinatrices : Rémi Flamary, Louise Travé-Massuyès
• Jury : Rapporteurs / Rapporteuses : Gabriel Peyré, Alexandre Allauzen

Mots clés

Mots clés contrôlés

Apprentissage profond

Réseaux neuronaux (informatique)

Mots clés libres

Apprentissage automatique

Réseaux de neurones lipschitz

Apprentissage profond

Transport optimal

Fonction de distance signée

Confidentialité

Machine learning

Lipschitz neural network

Deep learning

Optimal transport

Signed distance function

Privacy

Résumé

Cette thèse explore les caractéristiques et les applications des réseaux Lipschitz dans les tâches d'apprentissage automatique. Tout d'abord, le cadre de "l'optimisation en tant que couche" est présenté, mettant en avant diverses applications, notamment la paramétrisation des couches contraintes Lipschitz. Ensuite, l'expressivité de ces réseaux dans les tâches de classification est étudiée, révélant un compromis précision/robustesse contrôlé par la régularisation entropique de la perte, accompagnée de garanties de généralisation. Par la suite, la recherche se penche sur l'utilisation des fonctions de distance signée comme solution à un problème de transport optimal régularisé, mettant en avant leur efficacité dans l'apprentissage robuste en classe unique et la construction de surfaces implicites neurales. Ensuite, la thèse démontre l'adaptabilité de l'algorithme de rétropropagation pour propager des bornes au lieu de vecteurs, permettant un entraînement confidentiel des réseaux Lipschitz sans entraîner de surcoût en termes de temps d'exécution et de mémoire. Enfin, elle va au-delà des contraintes Lipschitz et explore l'utilisation de contraintes de convexité pour les quantiles multivariés.

This thesis explores the characteristics and applications of Lipschitz networks in machine learning tasks. First, the framework of "optimization as a layer" is presented, showcasing various applications, including the parametrization of Lipschitz-constrained layers. Then, the expressiveness of these networks in classification tasks is investigated, revealing an accuracy/robustness tradeoff controlled by entropic regularization of the loss, accompanied by generalization guarantees. Subsequently, the research delves into the utilization of signed distance functions as a solution to a regularized optimal transport problem, showcasing their efficacy in robust one-class learning and the construction of neural implicit surfaces. After, the thesis demonstrates the adaptability of the back-propagation algorithm to propagate bounds instead of vectors, enabling differentially private training of Lipschitz networks without incurring runtime and memory overhead. Finally, it goes beyond Lipschitz constraints and explores the use of convexity constraint for multivariate quantiles.