Sur les méthodes de gradient stochastique et le transport optimal entre espaces

On stochastic gradient methods and optimal transport across spaces

• Auteur / Autrice : Othmane Sebbouh
• Direction : Gabriel Peyré, Marco Cuturi
• Type : Projet de thèse
• Discipline(s) : Mathématiques
• Date : Inscription en doctorat le 01/09/2020
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : École doctorale Sciences mathématiques de Paris centre
• Partenaire(s) de recherche : Laboratoire : DMA - Département de Mathématiques et Applications
• Partenaire(s) de recherche : établissement opérateur d'inscription : École normale supérieure (Paris ; 1985-....)

Mots clés

Mots clés libres

Apprentissage automatique

Optimisation stochastique

Transport optimal

Machine learning

Stochastic optimization

Optimal transport

Résumé

La renormalisation quantile est un outil fondamental en statistiques. Il permet de modifier des données univariées, afin que celles-ci suivent une distribution prédéterminée (i.e. gaussienne), au moyen d'une transformation monotone. Cette normalisation a plusieurs vertus pratiques, notamment celle de retirer des valeurs extrêmes et de faciliter l'entraînement des paramètres de modèles d'apprentissage s'appuyant sur ces données. Le contexte d'application de cette renormalisation est donc le plus souvent statique, au sens où la distribution vers laquelle sont transformés des données est le plus souvent choisie a priori. De récents travaux [2] ont montré qu'il était possible de rendre différentiable cette opération, et ainsi de pouvoir adapter la distribution finale au besoin afin d'améliorer, de manière intégrée, le résultat final de méthodes d'apprentissage. Le but de cette thèse est d'étudier théoriquement et numériquement des extensions multi-variées de cette approche, avec des applications possibles en génomique. La fonction de quantile peut s'interpréter comme un transport optimal univarié, et cette thèse exploitera cette correspondance dans un cadre beaucoup plus général en dimension arbitraire. Le cœur de la thèse sera l'utilisation de techniques de lissage du transport optimal [1], qui permettront de développer des algorithmes de normalisation qui passent à l'échelle et dont on peut analyser théoriquement les performances. Ces avancées théoriques et méthodologiques iront de pair avec des applications dans le domaine de la génomique. Bibliographie [1] G. Peyré, M. Cuturi, Computational Optimal Transport, FnT in Machine Learning, 11(5-6), 2019. [2] M. Cuturi, O. Teboul, J. Niles-Weed, J.-P. Vert, Supervised Quantile Normalization for Low Rank Matrix Factorization, ICML 2020

Quantile renormalization is a fundamental tool in statistics. It allows univariate data to be modified so that they follow a predetermined distribution (i.e. Gaussian) by means of a monotonic transformation. This normalization has several practical virtues, notably that of removing extreme values and facilitating the training of the parameters of learning models based on these data. The context in which this renormalization is applied is therefore most often static, in the sense that the distribution towards which data are transformed is most often chosen a priori. Recent work [2] has shown that it is possible to make this operation differentiable, and thus to be able to adapt the final distribution as needed in order to improve, in an integrated way, the final result of learning methods. The aim of this thesis is to study theoretically and numerically multi-variate extensions of this approach, with possible applications in genomics. The quantile function can be interpreted as a univariate optimal transport, and this thesis will exploit this correspondence in a much more general framework in arbitrary dimensions. The core of the thesis will be the use of optimal transport smoothing techniques [1], which will allow the development of scaling normalization algorithms whose performance can be theoretically analyzed. These theoretical and methodological advances will go hand in hand with applications in the field of genomics. Bibliography [1] G. Peyré, M. Cuturi, Computational Optimal Transport, FnT in Machine Learning, 11(5-6), 2019. [2] M. Cuturi, O. Teboul, J. Niles-Weed, J.-P. Vert, Supervised Quantile Normalization for Low Rank Matrix Factorization, ICML 2020