Localisation faiblement supervisée des actions orientées vers un but

Learning to localize goal-oriented actions with weak supervision

• Auteur / Autrice : Dimitri Zhukov
• Direction : Ivan Laptev
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 16/12/2021
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : École doctorale Sciences mathématiques de Paris centre (Paris ; 2000-....)
• Partenaire(s) de recherche : Laboratoire : École normale supérieure (Paris ; 1985-....). Département d'informatique
• Partenaire(s) de recherche : Equipe de recherche : Équipe de recherche Models of visual object recognition and scene understanding (Paris)
• Partenaire(s) de recherche : établissement opérateur d'inscription : École normale supérieure (Paris ; 1985-....)
• Jury : Président / Présidente : Matthieu Cord
• Jury : Examinateurs / Examinatrices : Ivan Laptev, Matthieu Cord, Efstratios Gavves, Jason Corso, Josef Sivic, Gül Varol
• Jury : Rapporteur / Rapporteuse : Efstratios Gavves, Jason Corso

Mots clés

Mots clés contrôlés

Informatique

Mots clés libres

Vision par ordinateur

Reconnaissance d'actions

Compréhension de vidéos

Apprentissage non supervisé

Apprentissage faiblement supervisé

Vidéos d'instruction

Computer vision

Action recognition

Video understanding

Unsupervised learning

Weakly supervised learning

Instructional videos

Résumé

Le but de cette thèse est de développer des méthodes pour la compréhension automatique des vidéos d'instructions, qui démontrent des tâches humaines, comme, par exemple, faire une omelette ou accrocher une peinture. Nous proposons, d’abord, une méthode d'apprentissage des actions seulement à partir d'un script pour chaque tâche, au lieu des annotations manuelles. Notre modèle permet de réduire la quantité de données d'entraînement, en partageant l’information entre les tâches. Nous évaluons notre approche sur un nouveau jeu de données, CrossTask. Nous présentons, ensuite, une méthode non supervisée pour isoler les actions, liée à une tâche de leur contexte. Finalement, nous proposons une approche pour associer des instructions textuelles avec des objets correspondants dans la scène 3D, reconstruite à partir des vidéos.

The goal of this thesis is to develop methods for automatic understanding of video content. We focus on instructional videos that demonstrate how to perform complex tasks, such as making an omelette or hanging a picture. First, we investigate learning visual models for the steps of tasks, using only a list of steps for each task, instead of costly and time consuming human annotations. Our model allows us to share the information between the tasks on the substep level, effectively multiplying the amount of available training data. We demonstrate the benefits of our method on a newly collected dataset of instructional videos, CrossTask. Next, we present a method for isolating taskrelated actions from the surrounding background, that doesn’t rely on human supervision. Finally, we learn to associate natural language instructions with the corresponding objects within the 3D scene, reconstructed from the videos.