Une approche de recherche d'images basée sur la sémantique et les descripteurs visuels

An Image Retrieval approach based on semantics and visual features

• Auteur / Autrice : Olfa Allani Atig
• Direction : Herman Akdag, Hajer Zghal Baazaoui
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 27/06/2017
• Etablissement(s) : Paris 8 en cotutelle avec Université de la Manouba (Tunisie)
• Ecole(s) doctorale(s) : École doctorale Sciences sociales (Saint-Denis, Seine-Saint-Denis ; 2000-....)
• Jury : Examinateurs / Examinatrices : Herman Akdag, Hajer Zghal Baazaoui, Henda Hadjami Ben Ghezala, Nedra Mellouli
• Jury : Rapporteurs / Rapporteuses : Sylvie Despres, Sadok Ben Yahia

Mots clés

Mots clés contrôlés

Java (langage de programmation)

Apprentissage supervisé (intelligence artificielle)

Théorie des graphes

Ontologie

Traitement d'images -- Techniques numériques

Mots clés libres

Recherche d’images

Ontologie

Ontologie modulaire

Patron

Graphe

Règles d’association

Image retrieval

Ontology

Modular ontology

Pat- tern

Graph

Association rules

Résumé

La recherche d’image est une thématique de recherche très active. Plusieurs approches permettant d'établir un lien entre les descripteurs de bas niveau et la sémantique ont été proposées. Parmi celles-là, nous citons la reconnaissance d'objets, les ontologies et le bouclage de pertinence. Cependant, leur limitation majeure est la haute dépendance d’une ressource externe et l'incapacité à combiner efficacement l'information visuelle et sémantique. Cette thèse propose un système basé sur un graphe de patrons, la sélection ciblée des descripteurs pour la phase en ligne et l'amélioration de la visualisation des résultats. L'idée est de (1) construire un graphe de patrons composé d'une ontologie modulaire et d'un modèle basé graphe pour l'organisation de l'information sémantique, (2) de construire un ensemble de collections de descripteurs pour guider la sélection des descripteurs à appliquer durant la recherche et (3) améliorer la visualisation des résultats en intégrant les relations sémantiques déduite du graphe de patrons.Durant la construction de graphe de patrons, les modules ontologiques associés à chaque domaine sont automatiquement construits. Le graphe de régions résume l'information visuelle en un format plus condensé et la classifie selon son domaine. Le graphe de patrons est déduit par composition de modules ontologiques. Notre système a été testé sur trois bases d’images. Les résultats obtenus montrent une amélioration au niveau du processus de recherche, une meilleure adaptation des descripteurs visuels utilisés aux domaines couverts et une meilleure visualisation des résultats qui diminue le niveau d’abstraction par rapport à leur logique de génération.

Image retrieval is a very active search area. Several image retrieval approaches that allow mapping between low-level features and high-level semantics have been proposed. Among these, one can cite object recognition, ontologies, and relevance feedback. However, their main limitation concern their high dependence on reliable external resources and lack of capacity to combine semantic and visual information.This thesis proposes a system based on a pattern graph combining semantic and visual features, relevant visual feature selection for image retrieval and improvement of results visualization. The idea is (1) build a pattern graph composed of a modular ontology and a graph-based model, (2) to build visual feature collections to guide feature selection during online retrieval phase and (3) improve the retrieval results visualization with the integration of semantic relations.During the pattern graph building, ontology modules associated to each domain are automatically built using textual corpuses and external resources. The region's graphs summarize the visual information in a condensed form and classify it given its semantics. The pattern graph is obtained using modules composition. In visual features collections building, association rules are used to deduce the best practices on visual features use for image retrieval. Finally, results visualization uses the rich information on images to improve the results presentation.Our system has been tested on three image databases. The results show an improvement in the research process, a better adaptation of the visual features to the domains and a richer visualization of the results.