Modèles génératifs en tant que ''world model

Generative models as world models

• Auteur / Autrice : Théophane Vallaeys
• Direction : Matthieu Cord, Jakob Verbeek
• Type : Projet de thèse
• Discipline(s) : Sciences et technologies de l'information et de la communication
• Date : Inscription en doctorat le 07/10/2024
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris
• Partenaire(s) de recherche : Laboratoire : Institut des Systèmes Intelligents et de Robotique

Mots clés

Mots clés libres

Modèles génératifs

Apprentissage profond

Apprentissage auto-supervisé

Données synthétiques

Modèles de fondation

Generative models

Deep learning

Self-supervised learning

Synthetic data

Fondation models

Résumé

Les progrès récents en matière de modélisation générative d'images ont attiré l'attention d'un large public. En particulier, les modèles de diffusion conditionnés sur du texte ont vu des applications dans l'assistance à la génération de contenu créatif, et sont généralement optimisés pour la qualité d'image, la fidélité au texte et les préférences esthétiques par rapport à la diversité de générations. À contrario, dans ce projet, nous considérons les modèles génératifs comme des « world models » qui apprennent à représenter la distribution d'un ensemble de données d'apprentissage vaste et diversifié. Nous nous intéression à l'apprentissage du support complet et de la diversité (conditionnelle), en nous concentrant moins sur les préférences d'utilisateurs, des travaux récents ayant suggéré qu'il était possible d'augmenter la diversité au prix d'un faible impact sur la qualité. De plus, Nous prévoyons d'explorer plus profondément les capacités des modèles de diffusion dans le contexte de l'apprentissage de représentations, en étudiant comment les représentations internes extraites de modèles génératifs peuvent être utilisées pour des tâches mélant text et image, telles que la description d'images ou répondre à des questions visuelles. Tout en explorant les capacités de ces méthodes en tant que « world models », nous prévoyons de travailler sur des méthodes générales pour conditionner la distribution de sortie à partir de différentes entrées. Nous nous efforceroons d'équilibrer le réalisme et la diversité avec la fidélité à la condition, tout en fournissant un moyen générique de conditionner pour des objectifs multiples. Compte tenu de tous ces aspects, nous prévoyons finalement d'utiliser les modèles génératifs comme une source infinie et contrôlable de données d'entraînement pour des modèles supervisés. S'il s'avère suffisament précis, un « world model » des données peut être utilisé comme source de données pour entraîner des modèles de reconnaissance et, s'il est correctement contrôlé, peut être utilisé pour corriger des distributions asymétriques ou des biais dans des données d'entraînement. En outre, la génération de données d'entraînement pour les modèles de reconnaissance constitue également un test efficace pour les modèles génératifs : si les données d'entraînement échantillonnées sont moins efficaces que les données d'entraînement originales, le modèle génératif ne parvient apparemment pas à modéliser certains aspects des données et doit être amélioré.

Recent progress in generative image modeling attracted the attention of a large audience. In particular, diffusion models generating from textual prompts saw applications in creative content generation assistance, and are typically optimized by favoring image quality, prompt fidelity and aesthetics preferences over sample diversity. In contrast, in this project, we think of generative models as “world models” that learn to represent the distribution of large and diverse training datasets. We are interested in capturing the full support and (conditional) diversity, focusing less on user preference, as recent work suggested we can increase diversity with low effect on quality. We plan to further explore the abilities of diffusion models in the context of representation learning, studying how features extracted in generative models can be used for vision-language tasks such as image captioning, or visual question answering. As we explore the capabilities of these methods as world models, we plan to work on general methods for conditioning the output distribution from different inputs. We strive to balance realism and diversity with fidelity to the condition, while providing a generic way to condition for multiple objectives. Considering all these aspects, we ultimately project to use generative models as an infinite and controllable source of training data for supervised models. If accurate enough, such a ''world model'' of the data can be used as a data source to train recognition models, and – if properly controlled – can be used to counter skewed distributions or biases in training data. Moreover, generating training data for recognition models is also a “litmus test” for generative models: if sampled training data are less effective than the original training data, then the generative model apparently fails to model certain aspects of the data and should be further improved.