Prédiction vidéo

Video prediction

• Auteur / Autrice : Gabriel Fiastre
• Direction : Cordelia Schmid
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 01/09/2023
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : École doctorale Sciences mathématiques de Paris centre (Paris ; 2000-....)
• Partenaire(s) de recherche : Laboratoire : DIENS - Département d'informatique de l'École normale supérieure
• Partenaire(s) de recherche : Equipe de recherche : WILLOW
• Partenaire(s) de recherche : établissement opérateur d'inscription : Ecole normale supérieure

Mots clés

Mots clés libres

Vision par ordinateur

Apprentissage profond

Apprentissage de representations

Prédiction vidéo

Computer vision

Deep learning

Representation learning

Video prediction

Résumé

La thèse s'articulera autour de la prédiction vidéo, une tâche complexe et à fort impact dans des domaines appliqués (conduite autonome) comme théoriques (apprentissage auto-supervisé, augmentation de données). On considèrera notamment une nouvelle approche au problème, en s'intéressant dans un premier temps aux représentations dites ''object-centric''. Cette idée, récemment devenue populaire (dans un contexte non supervisé notamment), consiste à séparer les informations représentant une image ou vidéo en objets : la scène est décomposée en objets et peut être représentée dans son ensemble comme une composition de ceux-ci. Cette approche, plus alignée avec la perception humaine, permet d'apprendre des représentations robustes, apportant de la performance dans différentes tâches non supervisées comme la segmentation d'objets (Object Discovery) tout en étant sémantiquement interprétable. On considérera dans un premier temps l'amélioration de ces modèles et l'application au domaine de la vidéo avant de s'intéresser à leur application dans un contexte de vidéo prédiction, en utilisant par exemple les représentations pour raisonner sur les objets.

The PhD will focus on video prediction, a challenging and exciting task in both applied (autonomous driving) and theoretical fields (self-supervised learning, data augmentation). In particular, we will consider a new approach to the problem, focusing initially on object-centric'' representations. This idea, which has recently become popular (particularly in an unsupervised context), consists in separating the information representing an image or video into objects : the scene is decomposed into objects and can be represented as a whole as a composition of these. This approach, more in line with human perception, enables robust representations to be learned and provides performance in unsupervised tasks such as object segmentation (Object Discovery) while being semantically interpretable. We will first consider the improvement of these models and their application to the video domain before considering further extension and use of object-centric information for video prediction reasoning.