Sur les méthodes de gradient stochastique et le transport optimal entre espaces

On stochastic gradient methods and optimal transport across spaces

• Auteur / Autrice : Othmane Sebbouh
• Direction : Gabriel Peyré, Marco Cuturi
• Type : Projet de thèse
• Discipline(s) : Mathématiques
• Date : Inscription en doctorat le ; Soutenance le 20/03/2024
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : École doctorale Sciences mathématiques de Paris centre (Paris ; 2000-....)
• Partenaire(s) de recherche : Laboratoire : École normale supérieure (Paris ; 1985-....). Département de mathématiques et applications (1998-....)
• Partenaire(s) de recherche : établissement opérateur d'inscription : Ecole normale supérieure
• Jury : Président / Présidente : Julie Delon
• Jury : Examinateurs / Examinatrices : Gabriel Peyre, Tianbao Yang, Laetitia Chapel, Marco Cuturi, Sébastien Gadat, Antoine Godichon-baggioni
• Jury : Rapporteurs / Rapporteuses : Tianbao Yang, Laetitia Chapel

Mots clés

Mots clés libres

Apprentissage automatique

Optimisation stochastique

Transport optimal

Machine learning

Stochastic optimization

Optimal transport

Résumé

Dans ce manuscrit, nous nous penchons sur la relation complexe entre les méthodes de Descente de Gradient Stochastique (SGD) et la théorie du Transport Optimal (TO) dans le domaine de l'apprentissage automatique. SGD, souvent qualifiée de pilier du Machine Learning (ML), est utilisé pour optimiser les paramètres de modèles de ML à grande échelle. Malgré son utilisation répandue et les nombreuses analyses dont cet algorithme fait l'objet, il demeure essentiel d'approfondir notre compréhension de ses propriétés. Nous examinons l'aspect moins étudié des taux de convergence presque sûre des méthodes de gradient stochastique. La théorie du Transport Optimal (TO), qui mesure la similarité entre les distributions de probabilité, a considérablement progressé dans le domaine du ML, notamment dans la modélisation générative, l'adaptation de domaine et l'apprentissage automatique robuste. Nous étudions d'abord les aspects d'optimisation du TO et proposons un algorithme de gradient stochastique à la fois théoriquement solide et pratiquement efficace pour résoudre des problèmes d'optimisation min-max qui se présentent fréquemment lors de l'application du TO aux problèmes de l'apprentissage automatique. Enfin, nous proposons et analysons de nouvelles méthodes pour appliquer le TO à des espaces hétérogènes. Nous démontrons comment ces méthodes peuvent tirer parti des a priori sur la structure des données (comme la parcimonie) et montrons en quoi elles facilitent la résolution de tâches en aval, telles que l'appariement de données de cellules uniques et la transcriptomique spatiale.

In this thesis, we explore the intricate relationship between Stochastic Gradient Descent (SGD) methods and Optimal Transport (OT) theory within the realm of machine learning. SGD, which is hailed as the workhorse of machine learning, is extensively leveraged in the optimization of model parameters for large-scale applications. Despite its widespread usage and extensive analysis, there is a continual need for a deeper understanding of SGD's properties. We investigate the relatively less studied aspect of almost sure convergence rates of stochastic gradient methods. One specific field in which stochastic gradient methods are particularly useful is Optimal Transport (OT). OT, which quantifies the similarity between probability distributions, has made significant inroads in machine learning, especially in generative modeling, domain adaptation, and robust machine learning. We first study optimization aspects of OT and propose a theoretically sound and practically efficient stochastic gradient algorithm to solve min-max optimization problems that are often encountered in the application of OT to machine learning problems. Finally, we propose and analyze new methods for applying OT across heterogeneous spaces. We show how these methods can leverage priors on the structure of the data (e.g. sparsity) to overcome difficulties in the practical application of OT. Throughout our work, we show how the methods we develop help solve downstream tasks like single-cell data matching and spatial transcriptomics.