Image retrieval with active relevance feedback using both visual and keyword-based descriptors

• Auteur / Autrice : Marin Ferecatu
• Direction : Nozha Ben Hajel-Boujemaa
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance en 2005
• Etablissement(s) : Versailles-St Quentin en Yvelines

Mots clés

Mots clés contrôlés

Méthodes graphiques

Statistique

Traitement d'images -- Techniques numériques

Résumé

Cette thèse explore un nombre de problèmes liés à la recherche interactive d'images dans de grandes bases multimédia, en utilisant à la fois la description de l'apparence visuelle et les éventuelles informations textuelles. Nous introduisons d'abord les signatures couleur pondérées par une mesure locale de non-uniformité des pixels, qui intègrent en même temps plusieurs caractéristiques visuelles des images (couleur, texture et forme), et nous validons leur qualité sur différentes bases vérité terrain. Ensuite, nous présentons plusieurs améliorations pour le contrôle de pertinence basé sur les machines à vecteurs de support (SVM) : premièrement, nous introduisons une nouvelle méthode d'apprentissage actif avec réduction de la redondance entre les exemples ; deuxièmement, nous proposons l'utilisations de fonctions noyau spécifiques (comme le noyau triangulaire) pour obtenir l'insensibilité de la SVM au changement d'échelle des données, tout en gardant une très bonne qualité des résultats obtenus. Pour les bases d'images qui possèdent des annotations textuelles, nous présentons une méthode qui, à partir des mots-clefs, fait appel à une ontologie externe (WordNet) afin de produire un descripteur conceptuel pour chaque image. La combinaison de notre nouveau descripteur conceptuel avec les descripteurs visuels permet d'obtenir des résultats sensiblement meilleurs dans tous les tests que nous avons faits

In this thesis we explore a number of issues related to interactive querying of image databases, using both the description of the visual appearance and keyword annotations. We start by introducing the weighted color histograms, that intimately integrate color, texture and shape, and we validate their quality on multiple ground truth databases. Then, we propose several improvements for the SVM-based relevance feedback approach: first, we put forward an improved active learning selection strategy, based on a reduction of the redundancy between the images selected at every feedback round and second, we propose the use of specific kernel functions, such as the triangular kernel, that allow to obtain insensitivity to changes in the scale of the data, while keeping performance at a very good level. Finally, for image databases having keyword annotations associated with images, we propose a new keyword-based feature vector that makes use of an external ontology (WordNet) to induce a semantic generalization of the concepts corresponding to keywords. When used in combination with the visual signatures, our new feature vector can improve significantly the quality of the returned results both in query by visual example situation and with relevance feedback