Les modèles génératifs à base de diffusion à la lumière du transport optimal : de la théorie à la pratique.

Bridging the gap between optimal transport and diffusion generative models: from theory to algorithms.

• Auteur / Autrice : Marta Gentiloni silveri
• Direction : Alain Durmus, Giovanni Conforti
• Type : Projet de thèse
• Discipline(s) : Mathématiques appliquées
• Date : Inscription en doctorat le 01/10/2023
• Etablissement(s) : Institut polytechnique de Paris
• Ecole(s) doctorale(s) : École doctorale de mathématiques Hadamard
• Partenaire(s) de recherche : Laboratoire : CMAP - Centre de Mathématiques appliquées
• Partenaire(s) de recherche : Equipe de recherche : SIMPAS : Signal IMage Probabilités numériques Apprentissage Statistique

Mots clés

Mots clés libres

Contrôle stochastique optimal

Transport optimal

Algorithme de Sinkhorn

Modèles de diffusion

Stochastic optimal control

Optimal transport

Diffusion models

Sinkhorn algorithm

Résumé

Cette thèse traitera d'une nouvelle classe de modèles génératifs appelés modèles de diffusion. Ces modèles consistent à apprendre la fonction de score associée à une équation différentielle stochastique, qui est utilisée pour simuler le processus renversé temporel correspondant et générer ainsi un nouvel échantillon. Les modèles de diffusion sont très flexibles, faciles à entraîner et basés sur des principes simples et interprétables. En outre, ils ont produit des résultats spectaculaires dans des applications pratiques et sont aujourd'hui largement considérés comme l'architecture la plus avancée pour la génération de données. Cependant, malgré leurs performances empiriques, il existe peu de résultats théoriques fournissant des garanties a priori sur leur efficacité et il existe d'importantes lacunes conceptuelles dans leur compréhension et leur mise en œuvre. Cette thèse vise à combler ces lacunes en s'appuyant sur des idées et des outils issus de la théorie du transport optimal. La première partie de ce travail consistera à analyser l'influence des hyperparamètres dans les modèles de diffusion existants et à développer une stratégie adaptative pour les ajuster automatiquement. Une deuxième partie se concentrera sur le développement de nouvelles méthodologies qui intègrent des idées issues de la théorie du transport optimal. En particulier, nous visons à développer de nouvelles implémentations pratiques de l'algorithme bien connu de Sinkhorn. Enfin, nous prévoyons d'aborder une extension prometteuse des modèles basés sur la diffusion, les flux d'appariement. Cependant, ces modèles ne sont pas entièrement satisfaisant à l'heure actuelle car, bien qu'ils soient plus faciles à entraîner et qu'ils donnent des résultats intéressants, ils ne possèdent pas les même fondements théoriques que les modèles de diffusion. Notre objectif ici est de combler les lacunes existantes en élucidant le lien entre flux d'appariement et le transport optimal (entropique). Cela devrait conduire à de nouvelles perspectives qui devraient aider au développement d'une nouvelle classe de nouveaux modèles génératifs. Chacune des contributions algorithmiques de cette thèse sera accompagnée d'une étude numérique afin de s'assurer qu'elles sont efficaces et compétitives par rapport aux méthodes de pointe.

Generative models aim at learning to generate new data similar to a given dataset. They now have a wide range of applications, including art, music, literature, and gaming. In addition, generative models can be used to create synthetic data, which is particularly useful in situations where collecting real data is either difficult or expensive. This thesis will deal with a new class of generative models called diffusion models. These models consist in learning the score function associated with a stochastic differential equation, which is used to simulate the corresponding time-reversal process and generate a new sample as a result. Diffusion models are very flexible, easy to infer, and based on first and interpretable principles. Moreover, they produced spectacular results in practical applications and are now widely considered the most advanced architecture for data generation. {Despite their empirical performances, there are few theoretical results providing some a priori guarantees on their effectiveness and there exist some important conceptual gaps in their understanding and implementation, which this work aims to address leveraging ideas and tools coming from optimal transport theory. The first part of this work will consist of analysing the influence of hyperparameters in existing diffusion models and developing an adaptive strategy to automatically tune them. A second part will focus on the development of new methodologies that incorporate ideas from optimal transport theory. In particular, we aim to develop new practical implementations of the well-known Sinkhorn algorithm. Finally, we plan to deal with the promising extension of diffusion-based models, matching flows, which remove diffusive behaviour and stochastic errors from diffusion models by relaxing the underlying models. However, this model is not entirely satisfactory at the moment because, although it is easier to train and gives interesting results, it lacks the theoretical justifications that diffusion models do have. Our goal here is to fill the existing gap elucidating he connection between the flow matching approach and (entropic) optimal transport. This should lead to new insights which should help in the development of a new class of new generative models. Each of the resulting algorithmic contributions of this thesis will be accompanied by a numerical study to ensure that they are efficient and competitive with state-of-the-art methods.