Apprentissage profond pour la génération de vidéos

Deep Learning for Video Generation

• Auteur / Autrice : Nabyl Quignon
• Direction : Antitza Dantcheva
• Type : Projet de thèse
• Discipline(s) : Automatique traitement du signal et des images
• Date : Inscription en doctorat le 01/03/2025
• Etablissement(s) : Université Côte d'Azur
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication
• Partenaire(s) de recherche : Laboratoire : Spatio-Temporal Activity Recognition Systems

Mots clés

Mots clés libres

Réseaux neuronaux (informatique)

Vision par ordinateur

Génération de vidéos

Intelligence artificielle

Apprentissage profond

Modèles génératifs

Computer Vision

Artificial intelligence

Generative Models

Résumé

La génération de vidéos est devenue un domaine clé de l'apprentissage profond et de la vision par ordinateur, permettant des applications allant du divertissement à l'éducation. Cette thèse proposera des approches visant à surmonter les limitations actuelles des modèles génératifs. En particulier, ces modèles nécessitent d'importantes ressources computationnelles et des ensembles de données massifs, rendant leur recherche et leur utilisation écologiquement et pratiquement contraignantes. Nous envisageons les objectifs scientifiques suivants : Nous apprendrons des représentations vidéo contrôlables et généralisables permettant de générer une grande diversité de vidéos anticipant des événements visuels complexes et interactifs. Ici, diversité signifie la création de multiples futurs à partir d'une même situation ou d'un même input, qui peuvent ensuite être transposés dans un autre contexte, ce dernier aspect étant ce que nous appelons généralisable. Nous allégerons les exigences computationnelles massives liées à l'entraînement de modèles diffusion puissants garantissant une haute résolution et une excellente qualité d'image. Pour cela, nous explorerons l'utilisation de modèles de génération d'images pré-entraînés et fixes, en leur conférant une conscience temporelle grâce à l'ajout de couches neuronales temporelles intercalées avec les couches spatiales existantes. Un objectif à long terme consiste à concevoir des modèles capables de générer des ensembles de données complexes illustrant des interactions sociales entre des humains générés. Il s'agit actuellement d'un axe de recherche largement ouvert et à fort impact.

Video generation has become a key field in deep learning and computer vision, enabling applications ranging from entertainment to education. This thesis will propose approaches aimed at overcoming the current limitations of generative models. In particular, such models require significant computational resources and massive datasets, making their research and use both ecologically and practically challenging. We envision the following scientific objectives: We will learn controllable and generalizable video representations that allow for generating a wide variety of videos anticipating complex and interactive visual events. Here, diversity refers to creating multiple possible futures from the same situation or input, which can then be transferred to another context—this transferability being what we define as generalizable. We will reduce the massive computational requirements of training powerful diffusion models that ensure high resolution and high frame quality. To achieve this, we will explore the use of pre-trained, fixed image generation diffusion models and enhance them with temporal awareness by introducing additional temporal neural network layers interleaved with existing spatial layers. A long-term objective is to design models capable of generating complex datasets depicting social interactions between generated humans. This is currently a largely open research direction with high impact.