Approximation de mesures en grande dimension par des méthodes d'optimisation

Approximation of high-dimensional measures through optimization methods

• Auteur / Autrice : Christophe Vauthier
• Direction : Quentin Merigot
• Type : Projet de thèse
• Discipline(s) : Mathématiques appliquées
• Date : Inscription en doctorat le 01/09/2023
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale de mathématiques Hadamard
• Partenaire(s) de recherche : Laboratoire : Laboratoire de mathématiques d'Orsay (1998-....)
• Partenaire(s) de recherche : Equipe de recherche : Analyse numérique et équations aux dérivées partielles
• Partenaire(s) de recherche : Référent : Faculté des sciences d'Orsay

Mots clés

Mots clés libres

Optimisation

Transport optimal

Statistique

Machine learning

Optimization

Optimal transport

Statistics

Machine Learning

Résumé

Un problème courant en machine learning est d'approcher une mesure avec une mesure à support fini en minimisant une perte qui est choisie comme étant une distance ou une divergence sur l'espace des mesures, relative à une distribution cible. En effet ce problème d'optimisation, typiquement non convexe, apparaît dans de nombreuses applications telles que l'inférence bayésienne ou bien l'optimisation de réseaux de neurones. Les algorithmes qui visent à optimiser la position des particules afin d'approcher la distribution cible, admettent comme limite continue lorsque le nombre de particules tend vers l'infini, le flot de gradient de la perte considérée, au sens de la distance de Wasserstein. L'objectif de cette thèse est d'utiliser ce point de vue pour comprendre le comportement qualitatif de ces algorithmes d'optimisation, et en particulier de comprendre à quel point ils arrivent à bien optimiser la perte malgré sa non convexité.

A common problem in machine learning is to approach a measure with a finitely supported measure by minimizing a loss which is chosen as a distance or a discrepancy over the space of measures, with respect to a target distribution. Indeed, this optimization problem, which is usually non convex, appears in many applications such as bayesian inference or neural network optimization. The algorithms that approach the target distribution by optimizing the positions of particles have as continuous limit, when the number of particles goes to infinity, the gradient flow of the loss, in the sense of the Wasserstein distance. The aim of this thesis is to use this point of view to understand the qualitative behavior of these optimization algorithms, and in particular to understand how well they can optimize the loss despite its non-convexity