Analyse et indexation des flux vidéos dans le domaine compressé H. 264

Compressed domain indexing and analysis of H. 264 streams

• Auteur / Autrice : Christian Käs
• Direction : Henri Nicolas
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 22/03/2010
• Etablissement(s) : Bordeaux 1
• Ecole(s) doctorale(s) : École doctorale Mathématiques et informatique (Talence, Gironde ; 1991-....)
• Jury : Président / Présidente : Jenny Benois Pineau
• Jury : Examinateurs / Examinatrices : Philippe Joly, Christophe Papin
• Jury : Rapporteur / Rapporteuse : Christine Guillemot, Touradj Ebrahimi

Mots clés

Mots clés contrôlés

Streaming (télécommunications)

Compression vidéo

Vidéo numérique

Mots clés libres

Analyse vidéo

Indexation vidéo

H.264

Domaine compressé

SVC

Détection des copies

Surveillance vidéo

Résumé

Dans cet étude, nous nous concentrons sur l'analyse et l'indexation automatique des séquences vidéo. Cela permet une récupération et un accès efficace aux données. Les vidéos étant généralement stockées et transmises sous forme encodées, notre approche se base sur l'analyse dans le domaine compressé. Ce domaine présente un compromis raisonnable entre cout de calcul et qualité des résultats. Les informations les plus pertinentes encodées dans le flux H.264 sont les vecteurs de mouvement (VM). Ces vecteurs sont associés aux macroblocs dans les images prédites (de type B et P). Nous présentons diverses techniques non-supervisés pour déterminer le mouvement de la caméra, détecter et suivre les objets en mouvement dans les vidéos. Ces analyses sont basées sur les champs de VM. Nous démontrons le potentiel de l'analyse dans le domaine compressé avec plusieurs exemples d'applications, notamment la surveillance de trafic routier et la détection de copies.

The amount of generated audiovisual content continues to increase. In this work, we concentrate on the challenge of automatic video analysis and indexing, which builds the basis for efficient information access and retrieval. Taking advantage of the fact that video in most cases is stored and transmitted in encoded form, we pursue the approach of compressed domain processing, which represents a reasonable trade-off between computational complexity and quality of analysis results. The most valuable information encoded in H.264 streams is the motion vectors (MVs) that are associated with macroblocks in temporally predicted frames of type B and P. We present a number of completely unsupervised techniques to determine the camera motion and to detect and track moving objects from the extracted MV fields. We furthermore present the potential of compressed domain processing through several example applications, including traffic surveillance and video copy detection.