Contributions au Transport Optimal pour l'Apprentissage Machine : Métrique de Terrain et Cadre Généralisé

Contributions to optimal transport for Machine Learning : Ground Metric and Generalized Framework

• Auteur / Autrice : Tanguy Kerdoncuff
• Direction : Marc Sebban
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 09/12/2021
• Etablissement(s) : Lyon
• Ecole(s) doctorale(s) : École doctorale Sciences Ingénierie Santé (Saint-Etienne)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Hubert Curien (Saint-Etienne ; 1995-....)
• Jury : Président / Présidente : Élisa Fromont
• Jury : Examinateurs / Examinatrices : Rémi Emonet
• Jury : Rapporteur / Rapporteuse : Marianne Clausel, Nicolas Courty

Mots clés

Mots clés contrôlés

Transport optimal de mesure

Apprentissage automatique

Intelligence artificielle

Informatique

Mots clés libres

Informatique

Intelligence Artificielle

Apprentissage Machine

Transport Optimal

Apprentissage de Métrique

Adaptation de Domaine

Computer science

Artificial intelligence

Machine Learning

Optimal Transportation

Learning Metrics

Domain Adaptation

Résumé

La théorie du Transport Optimal permet non seulement de définir une notion de distance entre distributions de probabilité, mais propose aussi une correspondance entre celles-ci sous la forme d'un plan de transport. Cette théorie a été à la base de nombreux récents travaux en Apprentissage Machine. Étant donnée une métrique permettant de comparer deux points d'un espace vectoriel, le transport entre distributions est dit optimal s'il minimise le coût global pour déplacer une distribution vers une autre. La distance obtenue de Wasserstein généralise de manière intuitive les métriques usuelles entre points d'un espace vectoriel. En Apprentissage Machine, la distance Euclidienne est souvent exploitée par défaut comme métrique de base malgré la grande variété d'autres fonctions candidates possibles. Dans cette thèse, nous abordons tout d'abord l'intérêt d'apprendre des métriques plus complexes pour résoudre des problèmes d'Apprentissage Machine. La première contribution utilise des informations additionnelles d'étiquettes pour optimiser une métrique de Mahalanobis, tandis que la seconde propose de choisir la métrique la plus stable dans un ensemble de fonction candidates pour effectuer le Transport Optimal entre deux distributions. Nous proposons également un algorithme efficace pour résoudre le problème difficile de Gromov Wasserstein, une extension du Transport Optimal permettant de comparer des matrices de similarité venant d'espaces vectoriels différents. Enfin, en s'appuyant sur ce nouvel algorithme, nous présentons une nouvelle extension du problème du Transport Optimal qui définit une distance entre tenseurs de dimension quelconque.

The Optimal Transport theory not only defines a notion of distance between probability measures, but can also align two distributions. During the past few years, Optimal Transport found many applications in Machine Learning, such as the approximation of a distribution in GANs for the generation of new points or the adaptation of labeled source data to unlabeled target examples to solve transfer learning tasks. Given a ground metric that allows to compare two points of a vector space, the transport between distributions is said to be optimal when it minimizes the global cost for moving one distribution to another. Although often difficult to compute, the corresponding Wasserstein distance intuitively generalizes the usual metrics between points on a vector space to the space of probability measures. In Machine Learning, the Euclidean distance is the most used ground metric despite the wide variety of possible candidates. In this thesis, we study the interest of learning more complex metrics to solve Machine Learning problems with two distinct ideas. The first one uses additional label information to improve the transportation for a classification task, while the second one proposes to choose the most stable metric in a set of functions to perform the Optimal Transport between two distributions. Based on a sampling strategy, we also propose an efficient algorithm for the Gromov Wasserstein problem, an extension of Optimal Transport which handles similarity matrices computed in incomparable vector spaces. Finally, based on this latter, we present a generalization of the Optimal Transport problem that defines a distance between tensors of arbitrary dimension.