Catégorisation par le contenu sémantique d'objets vidéo : recherche et reconnaissance d'acteurs dans les films

Content-Based Video Semantic Object Categorization : actor Retrieval and Recognition in Movies

• Auteur / Autrice : Shuji Zhao
• Direction : Frédéric Precioso, Matthieu Cord, Sylvie Philipp-Foliguet
• Type : Thèse de doctorat
• Discipline(s) : STIC (sciences et technologies de l'information et de la communication)
• Date : Soutenance le 10/06/2011
• Etablissement(s) : Cergy-Pontoise
• Ecole(s) doctorale(s) : École doctorale Sciences et ingénierie (Cergy-Pontoise, Val d'Oise)
• Partenaire(s) de recherche : Laboratoire : Equipes Traitement de l'Information et Systèmes (Cergy-Pontoise, Val d'Oise ; 2002-....)
• Jury : Examinateurs / Examinatrices : Frédéric Precioso, Matthieu Cord, Sylvie Philipp-Foliguet, Nicole Vincent, Ivan Laptev
• Jury : Rapporteurs / Rapporteuses : Patrick Pérez, Leonardi Riccardo

Mots clés

Mots clés contrôlés

Traitement d'images

Vision par ordinateur

Reconnaissance des formes (informatique)

Vidéo numérique

Mots clés libres

Connaissance des formes

Vision par ordinateur

Traitement d'images

Pattern recognition

Computer vision

Image processing

Résumé

Dans cette thèse, nous proposons un nouveau système de recherche par le contenu de catégories sémantiques d'objets vidéo.A partir des séquences vidéo, nous détectons et extrayons les régions contenant le même objet (visage d'une personne, un modèle de voiture, etc.) au cours d'un plan-séquence. A partir de ce volume, appelé Track, nous extrayons un ensemble de caractéristiques visuelles spatio-temporellement cohérentes qui forme ainsi un Tube Spatio-Temporel représentant l'objet.Pour évaluer la similarité entre Tubes Spatio-Temporels, nous concevons des fonctions noyaux dédiées. À partir de ces noyaux, nous proposons des stratégies d'apprentissage supervisé et interactif, intégrées dans un cadre Machine à Vecteurs de Supports.Notre approche est évaluée sur des bases de données de films réels. Elle surpasse les méthodes de l'état de l'art pour la reconnaissance d'acteurs multi-classes. Notre méthode est également testée pour la recherche interactive d'un acteur dans une base de vidéo et sur une base de données de voitures, illustrant ainsi la généricité de la méthode et ses possibles extensions à tout type d'objets vidéo.

In this thesis, we propose a new video object retrieval and recognition system based on visual content.From video sequences, we detect, then extract video objects such as face and car, and define the continuous content made of regions containing this object in successive frames. From this volume, called Track, we extract spatio-temporally consistent visual features to define the video object representation: Spatio-Temporal Tube.To evaluate the similarity between complex tube objects, we design a Spatio-Temporal Tube Kernel (STTK) function. Based on this kernel similarity we present both supervised and active learning strategies embedded in Support Vector Machine framework. Additionally, we propose a multi-class classification framework dealing with highly unbalanced datasets.Our approach is successfully evaluated on real movie databases. Our machine learning approach outperforms the state of the art methods for multi-class actor recognition. Our method is also evaluated for actor retrieval task and on a car database showing hence promising results for car identification task and the potential of extension to any category of video objects.