Generative Adversarial Networks : théorie et pratique

Generative Adversarial Networks : theory and practice

• Auteur / Autrice : Ugo Tanielian
• Direction : Gérard Biau
• Type : Thèse de doctorat
• Discipline(s) : Statistique
• Date : Soutenance le 23/04/2021
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Sciences mathématiques de Paris centre (Paris ; 2000-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire de probabilités, statistique et modélisation (Paris ; 2018-....)
• Jury : Président / Présidente : Éric Moulines
• Jury : Examinateurs / Examinatrices : Maxime Sangnier, Chloé-Agathe Azencott, Patrick Gallinari, Flavian Vasile
• Jury : Rapporteurs / Rapporteuses : Jérémie Bigot, Arnak S. Dalalyan

Mots clés

Mots clés contrôlés

Réseaux neuronaux (informatique)

Apprentissage non supervisé (intelligence artificielle)

Apprentissage profond

Mots clés libres

Generative adversarial network

Modèles génératifs

Entraînement antagoniste

Théorie de l'apprentissage profond

Distance de Wasserstein

Inégalités de concentration

Generative adversarial networks

Wasserstein distance

Concentration inequalities

Résumé

Les 'Generative Adversarial Networks' (GANs) ont été proposés en 2014 comme une nouvelle méthode pour produire efficacement des images réalistes. Les premiers travaux ont été suivis par de nombreuses études qui ont permis aux GANs de s'imposer dans des domaines variés de l'apprentissage automatique tels que la génération de vidéos, de sons, ou encore l’édition d’images. Cependant, les résultats empiriques de la communauté scientifique devancent largement leurs progrès théoriques. La présente thèse se propose de réduire cet écart en étudiant les propriétés statistiques des GANs. Après avoir rappelé succinctement l'état de l'art dans le chapitre introductif, le second chapitre présente un formalisme mathématique adapté à une meilleure compréhension des GANs. Ce support théorique est appliqué à l’analyse des GANs définis par Goodfellow et al. (2014). Le troisième chapitre se concentre sur les Wasserstein GANs, variante proposée par Arjovsky et al. (2017), qui s'est imposée dans la communauté scientifique grâce à de très bons résultats empiriques. La suite de la thèse est plus appliquée et apporte des éléments de compréhension à deux problèmes souvent associés aux GANs : d'une part, l'approximation des fonctions Lipschitz avec des réseaux de neurones contraints et, d'autre part, l'apprentissage de variétés non connexes avec les GANs.

Generative Adversarial Networks (GANs) were proposed in 2014 as a new method efficiently producing realistic images. Since their original formulation, GANs have triggered a surge of empirical studies, and have been successfully applied to different domains of machine learning: video, sound generation, and image editing. However, our theoretical understanding of GANs remains limited. This thesis aims to reduce the gap between theory and practice by studying several statistical properties of GANs. After reviewing the main applications of GANs in the introduction, we introduce a mathematical formalism necessary for a better understanding of GANs. This framework is then applied to the analysis of GANs defined by Goodfellow et al. (2014) and Wasserstein GANs, a variant proposed by Arjovsky et al. (2017), well-known in the scientific community for its strong empirical results. The rest of the thesis attempts to solve two practical problems often encountered by researchers: the approximation of Lipschitz functions with constrained neural networks and the learning of non-connected manifolds with GANs.