Algorithmes adaptatifs de Langevin Monte Carlo pour l'optimisation stochastique et l'inférence bayésienne

Adaptive Gradient Langevin Algorithms for Stochastic Optimization and Bayesian Inference

• Auteur / Autrice : Pierre Bras
• Direction : Gilles Pagès
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques
• Date : Soutenance le 11/09/2023
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Sciences mathématiques de Paris centre (Paris ; 2000-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire de probabilités, statistique et modélisation (Paris ; 2018-....)
• Jury : Président / Présidente : Francis Bach
• Jury : Examinateurs / Examinatrices : Olivier Pironneau, Gersende Fort, Nicolas Fournier, Josef Teichmann
• Jury : Rapporteurs / Rapporteuses : Éric Moulines, Mike Giles

Mots clés

Mots clés contrôlés

Processus stochastiques

Monte-Carlo, Méthode de

Langevin, Équation de

Apprentissage automatique

Optimisation mathématique

Mots clés libres

Optimisation stochastique

Machine Learning

Descente de Gradient

Equation de Langevin

Méthodes de Monte Carlo

Probabilités numériques

Stochastic Optimization

Machine Learning

Gradient Descent

Langevin Equation

Monte Carlo Methods

Numerical Probability

Résumé

Nous étudions la convergence des algorithmes adaptatifs de descente de gradient par dynamique de Langevin (SGLD) pour résoudre des problèmes d'optimisation et d'inférence. Les algorithmes SGLD consistent en une descente de gradient avec ajout de bruit exogène dans le but d'échapper aux minima locaux et aux points selle. Contrairement à l'équation différentielle stochastique (EDS) de Langevin classique, nous nous concentrons sur le cas où le bruit exogène est adaptatif i.e. non constant et dépend de la position de la procédure, donnant une convergence plus rapide que les algorithmes non adaptatifs. Bien que le cas constant ait été largement étudié, peu d'attention a été portée jusqu'à présent au cas général et la littérature manque d'un résultat théorique général de convergence. Dans une première partie, nous prouvons la convergence de ces algorithmes pour la distance de Wasserstein L^1 et pour la distance de la variation totale, à la fois pour l'EDS continue et pour l'algorithme discret avec des mesures de gradient bruitées. Nous nous intéressons également aux algorithmes de Langevin-recuit simulé, où le bruit décroît lentement vers zéro au cours du temps à une vitesse appropriée. Nous investiguons aussi le cadre "dégénéré" i.e. où la matrice Hessienne en le minimum n'est pas définie positive, un aspect qui a été mis de côté par la littérature. Dans une seconde partie nous appliquons les algorithmes SGLD à des problèmes d'optimisation et d'inférence apparaîssant en apprentissage machine et en probabilités numériques et nous comparons les performances de divers algorithmes de Langevin préconditionnés (adaptatifs) avec leurs équivalents respectifs non-Langevin. Nous observons que les algorithmes de Langevin améliorent la procédure d'entraînement pour des réseaux de neurones artificiels très profonds et que plus le réseau est profond, plus les gains apportés par les algorithmes de Langevin sont importants. Suivant cette heuristique nous introduisons une nouvelle variante des algorithmes de Langevin appelée "Langevin par couches", qui ajoute du bruit de Langevin sur seulement les couches les plus profondes du réseaux. Nous montrons les avantages des algorithmes de Langevin et de Langevin par couches pour l'entraînement d'architectures profondes en reconnaissance d'image (ResNet, DenseNet) et en contrôle stochastique (réseaux Markoviens). Une dernière partie est consacrée à la simulation numérique de processus stochastiques. Nous démontrons des bornes pour la distance en variation totale entre une EDS et son schéma d'Euler-Maruyama en temps court, en utilisant une extrapolation de Richardson-Romberg pondérée. Ce résultat est crucial pour l'analyse de la convergence en variation totale des algorithmes de Langevin mentionnés ci-dessus. En utilisant l'analyse trajectorielle, nous étudions le taux d'erreur faible du schéma d'Euler-Maruyama pour les équations de Volterra stochastiques (EVSs), qui sont des équations différentielles stochastiques non Markoviennes avec un noyau de mémoire, tout en gardant à l'esprit le cas des modèles à volatilité rugueuse. Enfin, nous donnons des formules et des méthodes de simulation pour le mouvement Brownien réfléchi ou arrêté dans un cône en deux dimensions.

This thesis focuses on adaptive Stochastic Gradient Langevin Dynamics (SGLD) algorithms to solve optimization and Bayesian inference problems. SGLD algorithms consist in a stochastic gradient descent with exogenous noise added in order to escape local minima and saddle points. Contrary to the classic Langevin Stochastic Differential Equation (SDE), we study on the case where the exogenous noise is adaptive i.e. not constant but depends on the position of the procedure, then yielding a convergence faster than non-adaptive algorithms. Although the constant case has been extensively studied, little attention has been paid so far to the general case and the literature lacks of a general theoretical convergence result. In a first part we prove the convergence of SGLD algorithms for the L*1-Wasserstein distance and for the Total Variation distance for both the continuous stochastic differential equation and the discrete algorithm with noisy gradient measurements. We also study Langevin-simulated annealing algorithms, where the noise is slowly decreased to zero at an appropriate rate with time. We investigate degenerate settings as well i.e. when the Hessian matrix at the minimum is not definite, which is an aspect that had been put aside by the literature. In a second part we apply SGLD algorithms to optimization and inference problems arising in Machine Learning and in Numerical Probability and we compare the performances of various preconditioned (adaptive) Langevin algorithms with their non-Langevin counterparts. We observe that Langevin algorithms improve the training procedure for very deep artificial neural networks and that the deeper a network is, the greater are the gains brought by Langevin algorithms. Following these heuristics, we introduce a new variant of Langevin algorithms called Layer Langevin, which adds Langevin noise only to the deepest layers of the network. We show the benefits of Langevin and Layer Langevin algorithms for the training of very deep architectures in image recognition (ResNet, DenseNet) and in stochastic optimal control (Markovian networks). A last part is devoted to the numerical simulation of stochastic processes. We give bounds for the Total Variation distance between an SDE and its Euler-Maruyama scheme in small time, using a weighted multi-level Richardson-Romberg extrapolation. This result is crucial for the analysis of convergence in Total Variation of the above Langevin algorithms. Using path-wise analysis, we study the weak error rate for the Euler-Maruyama scheme for Stochastic Volterra Equations (SVEs) which are non-Markovian stochastic differential equations with memory kernel, while keeping in mind the case of rough volatility models. Lastly, we give density formulae and simulation methods for the reflected and stopped Brownian motion in a two-dimensional wedge.