Indexation et recherche par contenu visuel, sémantique et multi-niveaux des documents multimédia

Indexing and Retrieval of Document Multimedia by visual content, semantic and multi-level

• Auteur / Autrice : Mohamed Hamroun
• Direction : Henri Nicolas, Ikram Amous-Ben Amor
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 17/12/2019
• Etablissement(s) : Bordeaux en cotutelle avec Université de Sfax (Tunisie)
• Ecole(s) doctorale(s) : École doctorale de mathématiques et informatique (Talence, Gironde ; 1991-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire bordelais de recherche en informatique
• Jury : Président / Présidente : Pascal Desbarats
• Jury : Examinateurs / Examinatrices : Henri Nicolas, Ikram Amous-Ben Amor, Pascal Desbarats, Christine Fernandez-Maloigne, Mounir Zrigui, Mourad Zribi
• Jury : Rapporteurs / Rapporteuses : Christine Fernandez-Maloigne, Mounir Zrigui

Mots clés

Mots clés contrôlés

Multimédias

Algorithmes génétiques

Analyse et indexation des documents

Mots clés libres

Algorithme Génétique

Contenu Visuel

Indexation

CBIR

Détection de concepts

Recherche multimédia

Multimedia retrieval

Concept detection

Genetic algorithm

Indexing

CBIR

Visual content

Résumé

Suite aux derniers progrès technologiques, la quantité de données multimédias ne cesse d'augmenter. Dans ce contexte, le problème qui se pose est comment exploiter efficacement ces données ? il est nécessaire de mettre en place des outils facilitant leur accès et leur manipulation.Pour répondre à ces besoins, nous avons proposé, tout d’abord, un modèle d’indexation et de recherche de planes vidéos (ou images) par son contenu visuel (ISE). Les fonctionnalités innovantes d'ISE sont les suivantes : (i) définition d'un nouveau descripteur "PMC" et (ii) application de l'algorithme génétique (AG) pour améliorer la recherche (PMGA).Ensuite, nous nous sommes intéressés à la détection des concepts dans les plans vidéo (Approche LAMIRA). Dans ce même contexte, nous avons proposé une méthode d’annotation semi-automatique des plans vidéo afin d’améliorer la qualité d’indexation basée sur l’AG.Puis, nous avons fourni une méthode d’indexation sémantique séparant le niveau donné, d’un niveau conceptuel et d’un autre, plus abstrait, contextuel. Ce nouveau système intègre, aussi, des mécanismes d’expansion de la requête et de retour de pertinence. Pour donner plus de fluidité dans la requête utilisateur, l’utilisateur peut effectuer une recherche par navigation sur les trois niveaux d’abstraction. Deux systèmes appelés VISEN et VINAS ont été mis en place pour valider ces dernières positions.Finalement, un Framework SIRI a été propose sur la base d’une fusion multi-niveaux combinant nos 3 systèmes : ISE, VINAS et VISEN. Ce Framework fournit une représentation bidimensionnelle de vecteurs descripteurs (haut niveau et bas niveau) pour chaque image.

Due to the latest technological advances, the amount of multimedia data is constantly increasing. In this context, the problem is how to effectively use this data? it is necessary to set up tools to facilitate its access and manipulation.To achieve this goal, we first propose an indexation and retrieval model for video shots (or images) by their visual content (ISE). The innovative features of ISE are as follows: (i) definition of a new descriptor "PMC" and (ii) application of the genetic algorithm (GA) to improve the retrieval (PMGA).Then, we focus on the detection of concepts in video shots (LAMIRA approach). In the same context, we propose a semi-automatic annotation method for video shots in order to improve the quality of indexation based on the GA.Then, we provide a semantic indexation method separating the data level from a conceptual level and a more abstract, contextual level. This new system also incorporates mechanisms for expanding the request and relevance feedback. To add more fluidity to the user query, the user can perform a navigation using the three levels of abstraction. Two systems called VISEN and VINAS have been set up to validate these last positions.Finally, a SIRI Framework was proposed on the basis of a multi-level indexation combining our 3 systems: ISE, VINAS and VISEN. This Framework provides a two-dimensional representation of features (high level and low level) for each image.