Entropy-regularized Optimal Transport for Machine Learning

par Aude Genevay

Thèse de doctorat en Mathématiques

Sous la direction de Gabriel Peyré.

Soutenue le 13-03-2019

à Paris Sciences et Lettres , dans le cadre de Ecole doctorale de Dauphine (Paris) , en partenariat avec Centre de recherche en mathématiques de la décision (Paris) (laboratoire) , Université Paris Dauphine-PSL (établissement de préparation de la thèse) et de CEntre de REcherches en MAthématiques de la DEcision / CEREMADE (laboratoire) .

  • Titre traduit

    Transport Optimal pour l'Apprentissage Automatique


  • Résumé

    Le Transport Optimal régularisé par l’Entropie (TOE) permet de définir les Divergences de Sinkhorn (DS), une nouvelle classe de distance entre mesures de probabilités basées sur le TOE. Celles-ci permettentd’interpolerentredeuxautresdistancesconnues: leTransport Optimal(TO)etl’EcartMoyenMaximal(EMM).LesDSpeuventêtre utilisées pour apprendre des modèles probabilistes avec de meilleures performances que les algorithmes existants pour une régularisation adéquate. Ceci est justifié par un théorème sur l’approximation des SDpardeséchantillons, prouvantqu’unerégularisationsusantepermet de se débarrasser de la malédiction de la dimension du TO, et l’on retrouve à l’infini le taux de convergence des EMM. Enfin, nous présentons de nouveaux algorithmes de résolution pour le TOE basés surl’optimisationstochastique‘en-ligne’qui,contrairementàl’étatde l’art, ne se restreignent pas aux mesures discrètes et s’adaptent bien aux problèmes de grande dimension.


  • Résumé

    This thesis proposes theoretical and numerical contributions to use Entropy-regularized Optimal Transport (EOT) for machine learning. We introduce Sinkhorn Divergences (SD), a class of discrepancies betweenprobabilitymeasuresbasedonEOTwhichinterpolatesbetween two other well-known discrepancies: Optimal Transport (OT) and Maximum Mean Discrepancies (MMD). We develop an ecient numerical method to use SD for density fitting tasks, showing that a suitable choice of regularization can improve performance over existing methods. We derive a sample complexity theorem for SD which proves that choosing a large enough regularization parameter allows to break the curse of dimensionality from OT, and recover asymptotic ratessimilartoMMD.Weproposeandanalyzestochasticoptimization solvers for EOT, which yield online methods that can cope with arbitrary measures and are well suited to large scale problems, contrarily to existing discrete batch solvers.


Il est disponible au sein de la bibliothèque de l'établissement de soutenance.

Consulter en bibliothèque

La version de soutenance existe

Où se trouve cette thèse\u00a0?

  • Bibliothèque : PARIS-PSL (Paris). Université Paris-Dauphine. Service commun de la documentation : Thèses électroniques Dauphine.
Voir dans le Sudoc, catalogue collectif des bibliothèques de l'enseignement supérieur et de la recherche.