Analyse d'Algorithmes Stochastiques pour l'Échantillonnage et l'Approximation Riemannienne

Analysis of Stochastic Algorithms for Sampling and Riemannian Approximation

• Auteur / Autrice : Pablo Jimenez
• Direction : Éric Moulines, Alain Durmus
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques appliquées
• Date : Soutenance le 30/06/2023
• Etablissement(s) : Institut polytechnique de Paris
• Ecole(s) doctorale(s) : École doctorale de mathématiques Hadamard (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Centre de mathématiques appliquées de l'Ecole polytechnique (Palaiseau ; 1974-....) - Centre de Mathématiques Appliquées - Ecole Polytechnique / CMAP
• Jury : Président / Présidente : Anne Auger
• Jury : Examinateurs / Examinatrices : Éric Moulines, Marc Arnaudon, Konstantinos Zygalakis, Aymeric Dieuleveut, Stéphanie Allassonnière
• Jury : Rapporteurs / Rapporteuses : Marc Arnaudon, Konstantinos Zygalakis

Mots clés

Mots clés contrôlés

Approximation stochastique

Optimisation mathématique

Analyse stochastique

Mots clés libres

Stochastique

Variété

Optimisation

Stochastic

Manifold

Optimization

Learning

Résumé

Cette thèse porte sur l'analyse de deux algorithmes stochastiques : l'approximation stochastique sur une variété riemannienne et une méthode de Monte Carlo par chaîne de Markov. Pour les deux algorithmes, nous étendons la théorie existante pour une meilleure compréhension de l'efficacité de ces méthodes. Dans une première partie, nous nous intéressons à deux cadres pour l'approximation stochastique sur une variété riemannienne. D'une part, nous examinons le taux de convergence, en mettant en place des majorations non-asymptotiques avec des hypothèses plus faibles qu'auparavant, ainsi qu'avec une modélisation plus souple du bruit. D'une autre part, on s'intéresse de près au cas du pas constant, dans lequel on s'intéresse à la convergence de la loi stationnaire de la chaîne de Markov définie par le schéma stochastique. On effectue une décomposition asymptotique avec un équilibre biais-variance, ainsi qu'un théorème central limite. Nous apportons des applications de nos résultats sur des exemples classiques du domaine. Dans une deuxième partie, on s'intéresse au comportement en grande dimension d'une méthode de Monte Carlo par chaîne de Markov qui approche la distribution cible de façon lisse, afin d'utiliser le gradient pour accélérer la convergence. Dans le contexte classique de l'échelonnement optimal, nous trouvons des comportements similaires à la théorie existante pour des distributions lisses mais nouveaux pour des distributions ayant une dérivée discontinue en un point. Nous illustrons ces résultats par des simulations.

This thesis deals with the analysis of two stochastic algorithms: stochastic approximation on Riemannian manifolds and a Markov chain Monte Carlo method. For both algorithms, we extend the existing theory for a better understanding of the efficiency of these methods. In a first part, we focus on two frameworks for stochastic approximation on Riemannian manifolds. On the one hand, we examine the rate of convergence, by proving non-asymptotic bounds with weaker assumptions than before, as well as with a more flexible set of assumptions for the the noise. On the other hand, we take a close look at the the constant step-size case, in which we are interested in the convergence of the the stationary law of the Markov chain defined by the stochastic scheme. We perform an asymptotic decomposition with a bias-variance equilibrium, and a central limit theorem. We provide applications of our results on classical examples of Riemannian stochastic approximation. In a second part, we focus on the high dimensional behavior of a Markov chain Monte Carlo method which approximates the target distribution smoothly, in order to use its gradient to accelerate convergence. In the classical context of optimal scaling, we find behaviors similar to the existing theory for smooth distributions but new ones for distributions with a discontinuity in their derivative. We illustrate these results with simulations.