Vers une compréhension mathématiques des réseaux neuronaux profonds par une analyse champ moyen

Towards a mathematical understanding of deep neural network using a mean field analysis

• Auteur / Autrice : Arnaud Descours
• Direction : Arnaud Guillin, Manon Michel, Boris Nectoux
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques fondamentales
• Date : Soutenance le 20/10/2023
• Etablissement(s) : Université Clermont Auvergne (2021-...)
• Ecole(s) doctorale(s) : École doctorale des sciences fondamentales (Clermont-Ferrand)
• Partenaire(s) de recherche : Laboratoire : Laboratoire de Mathématiques Blaise Pascal
• Jury : Président / Présidente : Benjamin Jourdain
• Jury : Examinateurs / Examinatrices : Liming Wu, Michela Ottobre
• Jury : Rapporteurs / Rapporteuses : Francis Bach, Alain Durmus

Mots clés

Mots clés contrôlés

Apprentissage automatique

Réseaux neuronaux (informatique)

Mots clés libres

Réseaux de neurones

Intelligence artificielle

Probabilités

Statistiques

Apprentissage automatique

Neural networks

Artificial intelligence

Probabilities

Statistics

Machine learning

Résumé

Dans cette thèse, nous menons une étude mathématique et numérique des réseaux de neurones (classiques et bayésiens) à une couche cachée. L'approche champ moyen, qui provient de la physique statistique, est aujourd'hui utilisée pour l'étude des systèmes de particules au sens large. Les poids associés au réseau de neurones classique sont vus comme des particules en interaction. Nous étudions l'évolution des poids du réseau entraîné par l'algorithme de descente de gradient stochastique (SGD). Nous montrons une loi des grands nombres (LGN) et un théorème central limite (TCL). Cette étude met en évidence l'existence de différents régimes, en fonction de l'intensité d'un bruit additionnel ajouté à l'algorithme SGD classique. Si le bruit est suffisamment intense, la limite champ moyen est perturbée par un terme laplacien, qui régularise l'équation et simplifie son analyse. L'équation du TCL est, quant à elle, perturbée pour une intensité plus faible du bruit. Nos équations permettent également de quantifier la réduction de variance obtenue grâce à un mini-batch.Les réseaux de neurones bayésiens - où les poids du réseau sont des variables aléatoires - que nous étudions sont entraînés par inférence variationnelle, une méthode qui permet de ne pas avoir à échantillonner la loi a posteriori, difficile à échantillonner. Les paramètres de la famille variationnelle sont optimisés par SGD. Cette descente de gradient vise à maximiser une quantité, appelée Evidence Lower Bound, qui se décompose en deux termes: un terme de coût, qui mesure l'écart entre les prédictions et les données d'entraînement, et un terme de pénalisation, sous forme de divergence de Kullback-Leibler par rapport à une distribution a priori. Une question importante est de savoir quelle importance relative doit être donnée à ces deux termes. Nous prouvons que le terme de pénalisation doit être pénalisé de façon inversement proportionnelle au nombre de neurones. Ce résultat se montre sous forme de LGN trajectorielle. Plus précisément, nous étudions trois différents algorithmes:- le SGD idéalisé, correspondant à l'algorithme exact, mais faisant intervenir une intégrale incalculable.- le SGD Bayes-by-backprop qui est l'algorithme utilisé en pratique.- le SGD Minimal-VI, que nous introduisons, et qui est moins coûteux en temps de calcul (le nombre de variables aléatoire à simuler à chaque itération de l'algorithme passe de N à 2, où N est le nombre de neurones sur la couche cachée).Nous établissons que ces trois algorithmes sont équivalents dans la limite champ moyen, et étudions mathématiquement (par un TCL) et numériquement la variance associée à ces trois algorithmes par rapport à la limite champ moyen.

In this dissertation, we carry out a mathematical and numerical study of neural networks (classical and Bayesian) with a single hidden layer. The mean-field approach, which originates in statistical physics and which we use, is now used to study particle systems in the broadest sense. The weights associated with the classical neural network are seen as interacting particles. We study the evolution of the weights of the network trained by the stochastic gradient descent (SGD) algorithm. We show a law of large numbers (LLN) and a central limit theorem (CLT). This study highlights the existence of different regimes, depending on the intensity of an additional noise added to the classical SGD algorithm. If the noise is sufficiently intense, the mean-field limit is perturbed by a Laplacian term, which regularizes the equation and simplifies its analysis. The CLT equation, on the other hand, is perturbed at lower noise intensities. Our equations also make it possible to quantify the variance reduction achieved by a mini-batch.The Bayesian neural networks - where the network weights are random variables - that we study are trained by variational inference, a method that avoids the need to sample the hard-to-sample posterior distribution. The parameters of the variational family are optimized by SGD. This gradient descent aims to maximize a quantity, called Evidence Lower Bound, which is decomposed into two terms: a cost term, which measures the deviation between predictions and training data, and a penalty term, in the form of a Kullback-Leibler divergence with respect to a prior distribution. An important question is what relative importance should be given to these two terms. We prove that the penalization term should be penalized in inverse proportion to the number of neurons. This result is shown in the form of a trajectorial LLN. More precisely, we study three different algorithms:- the idealized SGD, corresponding to the exact algorithm, but involving an intractable integral.- the Bayes-by-backprop SGD, which is the algorithm used in practice.- the Minimal-VI SGD, which we introduce, and which is less costly in terms of computation time (the number of random variables to be simulated at each iteration of the algorithm is reduced from N to 2, where N is the number of neurons of the hidden layer).We establish that these three algorithms are equivalent in the mean-field limit, and study mathematically (using a CLT) and numerically the variance associated with these three algorithms with respect to the mean-field limit.