Modélisation de l'auto-similarité dans les vidéos : applications à la synchronisation de scènes et à la reconnaissance d'actions

Self-similarity modelling in videos applied to scene synchronization and action recognition

• Auteur / Autrice : Émilie Dexter
• Direction : Patrick Pérez
• Type : Thèse de doctorat
• Discipline(s) : Traitement du signal et télécommunications
• Date : Soutenance en 2009
• Etablissement(s) : Rennes 1
• Ecole(s) doctorale(s) : École doctorale Mathématiques, télécommunications, informatique, signal, systèmes, électronique (Rennes)
• Partenaire(s) de recherche : Autre partenaire : Université européenne de Bretagne (2007-2016)

Mots clés

Mots clés contrôlés

Reconnaissance des formes (informatique)

Analyse de scènes (informatique)

Traitement d'images

Vision par ordinateur

Résumé

Nous avons abordé dans ces travaux les problématiques de reconnaissance d’actions et de synchronisation de séquences d’images. Nous proposons de calculer les similarités temporelles d'une séquence d’images afin de construire une « matrice d’auto-similarité ». Ces matrices, bien qu’elles ne soient pas strictement invariantes aux changements de vue, sont suffisamment stables lors de ces changements pour fournir des séquences de descripteurs temporels robustes pour la synchronisation et de plus discriminants pour la reconnaissance d’actions. La synchronisation est ensuite réalisée à l’aide de l’algorithme de Dynamic Time Warping. La reconnaissance, quant à elle, fait appel à des stratégies de « sacs-de-mots » afin de représenter les actions comme des ensembles non ordonnés de descripteurs ou comme des histogrammes d’occurrences des descripteurs quantifiés obtenus à l’aide d’un vocabulaire de « mots ». Nous pouvons ensuite appliquer des techniques classiques de classification supervisée. Les méthodes proposées se caractérisent par leur simplicité et leur flexibilité en n’imposant pas, par exemple, l'existence de correspondances de points entre les vues.

This PhD work deals with action recognition and image sequence synchronization. We propose to compute temporal similarities of image sequences to build self-similarity matrix. Although these matrices are not strictly view-invariant, they remain stable across views providing temporal descriptors of image sequences useful for synchronization as well as discriminant for action recognition. Synchronization is achieved with a dynamic programming algorithm known as Dynamic Time Warping. We opt for “Bag-of-Features” methods for recognizing actions such as actions are represented either as unordered sets of descriptors or as normalized histograms of quantized descriptor occurrences. Classification is performed by well known classification methods as Nearest Neighbor Classifier or Support Vector Machine. Proposed methods are characterized by their simplicity and flexibility: they do not require point correspondences between views.