Analyse dynamique des réseaux de neurones de largeur infinie

A dynamical analysis of infinitely wide neural networks

• Auteur / Autrice : Karl Hajjar
• Direction : Christophe Giraud, Lénaïc Chizat
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques appliquées
• Date : Soutenance le 12/01/2024
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale de mathématiques Hadamard (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire de mathématiques d'Orsay (1998-....)
• Partenaire(s) de recherche : Référent : Faculté des sciences d'Orsay
• Partenaire(s) de recherche : graduate school : Université Paris-Saclay. Graduate School Mathématiques (2020-….)
• Jury : Président / Présidente : Gilles Blanchard
• Jury : Examinateurs / Examinatrices : Claire Boyer, Li Qin, Aymeric Dieuleveut
• Jury : Rapporteur / Rapporteuse : Claire Boyer, Li Qin

Mots clés

Mots clés contrôlés

Optimisation mathématique

Réseaux neuronaux (informatique)

Apprentissage automatique

Apprentissage profond

Mots clés libres

Apprentissage

Réseaux de neurones

Descente de gradient

Largeur infinie

Machine learning

Neural networks

Gradient descent

Infinite-width limit

Résumé

Durant la dernière décennie, les réseaux de neurones ont eu un succès retentissant dans de nombreuses tâches en pratique, cependant les arguments théoriques derrière ce succès restent insuffisants et une théorie mathématique appropriée pour étudier rigoureusement ces objets fait toujours défaut. Les limites des réseaux de neurones à largeur infinie sont récemment apparues comme une façon d'éclaircir certains aspects du problème. Dans cette thèse, nous étudions la limite des réseaux de neurones de largeur infinie avec une renormalisation particulière souvent dénommée ''champ moyen'' dans la littérature. La difficulté d'analyser les réseaux de neurones d'un point de vue théorique réside en partie dans la nature hautement non-linéaire de ces objets et dans l'énorme quantité de paramètres, ou poids (pouvant aller jusqu'à la centaine de milliards en pratique) qui interagissent lorsqu'ils sont mis à jour durant la descente de gradient. Nous examinons les trajectoires durant l'optimisation des réseaux de neurones de largeur infinie pendant la phase d'entraînement afin d'exhiber des propriétés de ces modèles dans certains cadres simples tels que les réseaux de neurones entièrement connectés avec une ou plusieurs couches cachées. Cette thèse traite de différents aspects de la dynamique d'optimisation des réseaux de neurones de largeur infinie: des méthodes pour rendre possible l'entraînement de ces modèles aux symétries qui peuvent émerger dans cette limite en passant par de nouveaux algorithmes d'optimisation qui adaptent le nombre de neurones à la volée durant la phase d'entraînement.

Neural networks have had tremendous success in many practical tasks over the last decade, yet the theoretical reasons behind their performance are poorly understood and we lack a proper mathematical theory to rigorously study the properties of those objects. Infinite-width limits of neural networks have recently emerged as a way to shed light on some of the aspects of the problem. In this thesis, we study the infinite-width limit of networks of different depths under a particular scaling often referred to as the ''mean-field'' scaling in the literature. Part of the reason why neural networks are difficult to analyze from a theoretical standpoint is because they are highly non-linear and involve a huge amount of parameters, or weights, (up to hundreds of billions in practice) which interact as they are updated during gradient descent. We investigate the optimization trajectories of the infinite-width limit of neural networks during training in order to exhibit properties of those models in simple settings such as fully-connected networks with one or more hidden layers. This thesis focuses on different aspects of the optimization dynamics of networks in the infinite-width limit: from methods to enable training those models at arbitrary depths to the symmetry properties that can emerge in that limit as well as novel optimization algorithms which adapt the number of neurons in an on-line fashion during training.