Indexation de documents vidéos par concepts par fusion de caractéristiques audio, vidéo et texte

Semantic video indexing by combination of image, audio and text features

• Auteur / Autrice : Stéphane Ayache
• Direction : Georges Quénot, Jérôme Gensel
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance en 2007
• Etablissement(s) : Grenoble INPG

Mots clés

Mots clés contrôlés

Recherche de l'information

Résumé

Cette thèse s'inscrit dans le cadre de la Recherche d'Information et vise à une indexation sémantique des documents multimédias. Les recherches dans ce domaine sont confrontées au « fossé sémantique» qui sépare les descriptions brutes de différentes modalités des descriptions conceptuelles compréhensibles par les utilisateurs. Nous proposons un modèle d'indexation basé sur des réseaux d'opérateurs dans lesquels les flots de données, appelés numcepts, unifient des informations provenant des différentes modalités et extraites à différents niveaux d'abstractions. Nous présentons une instance de ce modèle où nous décrivons une typologie des opérateurs et des numcepts mis en œuvre. Nous avons mené des expérimentations sur les corpus TREC VIDEO afin d'évaluer l'impact de l'agencement et de l' implémentation des opérateurs sur la qualité de l'indexation des documents vidéos. Nous montrons qu'un réseau doit être décliné relativement à un concept afin d'optimiser la qualité de l'indexation.

Work deals with information retrieval and aims to reach semantic indexing of multimediaIments. The state of the art approach tackle this problem by bridging of the semantic gap between level features, from each modality, and high-Ievel features (concepts), which are useful for humans. We propose an indexing model based on networks of operators into which data flows, called numcepts, unify informations from the various modalities and extracted at several level of abstraction. We present an instance of this model where we describe a topology of the operators and the numcepts we have deveIoped. We have conducted experiments on TREC VIDEO corpora in order to evaluate various organizations of the networks and the choice of the operators. We have studied those effects on performance of concept detection. We show that a network have to be designed with respect to the concepts in order to optimize the indexing performance.