Modèles génératifs pour des données visuelles complexes

Generative image models for complex scenes and inferring meaningful latent representations

• Auteur / Autrice : Marlène Careil
• Direction : Marco Cagnazzo, Jakob Verbeek
• Type : Projet de thèse
• Discipline(s) : Informatique, données, IA
• Date : Inscription en doctorat le 22/03/2021
• Etablissement(s) : Institut polytechnique de Paris
• Ecole(s) doctorale(s) : École doctorale de l'Institut polytechnique de Paris
• Partenaire(s) de recherche : Laboratoire : Laboratoire Traitement et communication de l'information (Paris ; 2003-....)
• Partenaire(s) de recherche : Equipe de recherche : MM : MultiMédia

Mots clés

Mots clés libres

Génération de données

Segmentation sémantique

Réseaux de neurones profonds

Generative modelling

Semantic segmentation

Deep neural networks

Résumé

Des progrès remarquables ont été observés ces dernières années concernant la modélisation de distributions de données complexes grâce aux réseaux de neurones profonds, permettant une amélioration considérable des modèles génératifs pour les images, vidéos et autres contenus. Cependant, malgré les avancées, ces modèles génératifs ont un champ d'application qui reste très limité, ce qui motive plusieurs axes de recherche. Premièrement, un des facteurs limitants est la faible complexité des données traitées par les modèles actuels. Or, la segmentation sémantique indiquant la position et le type d'objets présents dans l'image pourrait être un élément clé améliorant la diversité et complexité des images générées. Il s'agirait de développer des modèles capables d'extraire des informations haut niveau sur la structure sémantique des données qui guideraient la génération d'images. Par ailleurs, face à la difficulté des modèles génératifs à généraliser et obtenir de bons résultats à partir de peu de données, une solution serait d'utiliser des techniques dites de « transfer learning » et « multi-task learning » déjà couramment exploitées pour les modèles discriminatifs, mais peu explorées pour les modèles génératifs. Enfin, il existe un compromis entre le réalisme et la diversité des images générées qu'il est actuellement difficile de maitriser. Il serait souhaitable d'acquérir une meilleure compréhension des mécanismes à l'origine de cette tension afin de mieux la contrôler.

Modelling high-dimensional data distributions is one of the long-standing problems in machine learning. In recent years there has been dramatic progress in generative models for images, videos, and other complex data. These models leverage the strength of deep neural networks, which have been pioneered in the late 1980's. While the recent results are extremely encouraging, current models still have many limitations, suggesting a number of directions for further research. Here we cite a few of them. First, the complexity of the data that is modelled is relatively limited. Leveraging more high-level latent representations such as category-level segmentation maps and/or depth maps may be key to build models for more complex and diverse sets of images. A second limitation is the need for large datasets. Whereas humans can encounter new objects and scenes, and quickly imagine new configurations (objects in different poses, in different compositions), generalisation from few examples is a long standing problem in machine learning; both for discriminative and generative tasks. While transfer and multi-task learning have been explored extensively to address this problem for discriminative tasks, it has been little explored yet for generative models. Third, in current methods there is an inherent tension between the realism of generated images, and the diversity displayed among them. Without requiring any diversity a model could learn to generate a single realistic image. On the other hand, the more diverse the generated images are, the more difficult it is to ensure that all of them will be realistic. Current methods do not provide explicit control over this trade-off. Such control is desirable when training the models, and ideally also after the model has been trained so that the diversity/realism trade-off can be controlled by a user.