géométrie dans les modèles génératifs

geometry in generative models

• Auteur / Autrice : Changqing Fu
• Direction : Laurent Cohen
• Type : Projet de thèse
• Discipline(s) : Sciences
• Date : Inscription en doctorat le ; Soutenance le 18/12/2024
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : SDOSE Sciences de la Décision, des Organisations, de la Société et de l'Echange
• Partenaire(s) de recherche : Laboratoire : Centre de recherche en mathématiques de la décision (Paris)
• Partenaire(s) de recherche : établissement opérateur d'inscription : UNIVERSITE PARIS DAUPHINE - PSL
• Jury : Président / Présidente : Yann Chevaleyre
• Jury : Examinateurs / Examinatrices : Laurent Cohen, Lei Shi, Qiang Wu, Laurence Likforman-sulem
• Jury : Rapporteurs / Rapporteuses : Lei Shi, Qiang Wu

Mots clés

Mots clés libres

Modèles génératifs

Vision par ordinateur

Apprentissage profond

Computer vision

Generative models

Deep learning

Résumé

Les modèles d'apprentissage profond manquent souvent d'une base théorique solide. Dans cette thèse, en nous appuyant sur des principes de traitement du signal et de mécanique classique, nous abordons le problème suivant : Comment la géométrie peut-elle être incorporée dans les modèles génératifs ? Les principes fondamentaux des modèles génératifs sont présentés au chapitre 1. Au chapitre 2, nous soutenons qu'une équation unifiée régit différentes classes de modèles génératifs. Dans le chapitre 3, nous proposons une méthode de manipulation d'images permettant de déformer certaines zones spécifiques. Cette approche combine un modèle supervisé de traduction du contour vers l'image et un modèle non supervisé de reconstruction, afin de gérer les changements de distribution. Au chapitre 4, nous introduisons une fonction d'activation qui n'est pas composante par composante, et présente une équivariance orthogonale. Nous établissons une correspondance entre le groupe d'équivariance de ces fonctions d'activation et les symétries géométriques de leurs ensembles invariants. Cette fonction d'activation est comparable à l'état de l'art et, dans de nombreux cas, améliore la généralisation, l'entraînement et les performances des U-Nets de diffusion, des ResNets, des GPTs et des perceptrons multicouches. Au chapitre 5, nous proposons un modèle génératif léger. En supposant la continuité dans l'espace de représentation, ce modèle réduit le nombre de paramètres d'un facteur pouvant atteindre 1000, améliorant ainsi considérablement l'efficacité sans compromettre les performances.

Deep learning models often lack a solid theoretical foundation. In this thesis, starting from principles in signal processing and classical mechanics, we address the following problem: How can geometry be incorporated into generative models? The fundamentals of generative models are introduced in Chapter 1. In Chapter 2, we argue that a unified equation governs various classes of generative models. In Chapter 3, we propose an image manipulation method that enables the deformation of specific parts of an image. This approach combines a supervised contour-to-image translation model with an unsupervised reconstruction model to address distribution shifts. In Chapter 4, we introduce a non-component-wise activation function with orthogonal equivariance. We establish a correspondence between the equivariance group of activation functions and the geometric symmetries of their invariant sets. This activation performs on par with the state of the art and, in many cases, improves the generalization, training, and performance of diffusion U-Nets, ResNets, GPTs, and multilayer perceptrons. In Chapter 5, we propose a lightweight generative model. By assuming continuity of patterns in the feature space, this model reduces the number of parameters by up to 1000×, significantly improving efficiency without compromising performance.