Recherche par image robuste par apprentissage profond

Robust image retrieval with deep learning

• Auteur / Autrice : Elias Ramzi
• Direction : Nicolas Thome
• Type : Projet de thèse
• Discipline(s) : Sciences pour l'ingénieur spécialité Informatique
• Date : Inscription en doctorat le ; Soutenance le 20/03/2024
• Etablissement(s) : Paris, HESAM
• Ecole(s) doctorale(s) : École doctorale Sciences des métiers de l'ingénieur
• Partenaire(s) de recherche : Laboratoire : Centre d'études et de recherche en informatique et communications (Paris)
• Partenaire(s) de recherche : établissement de préparation de la thèse : Conservatoire national des arts et métiers (France)
• Jury : Président / Présidente : Michel Crucianu
• Jury : Examinateurs / Examinatrices : Nicolas Thome, Yannis Avrithis, Diane Larlus, Matthieu Cord, Nicolas Audebert, Clément Rambour, Hervé Jegou
• Jury : Rapporteurs / Rapporteuses : Yannis Avrithis, Diane Larlus

Mots clés

Mots clés libres

Apprentissage profond

Vision par ordinateur

Recherche visuelle

Robustesse

Deep learning

Computer vision

Image retrieval

Robustness

Résumé

Cette thèse aborde la problématique de la recherche robuste d'images par apprentissage profond. La recherche par le contenu d'images consiste à trouver des images visuellement similaires à une image "requête" dans de grandes bases de données. Les approches par apprentissage profond sont basées sur l'apprentissage de représentations des images afin de mesurer leur similarité, par exemple, avec la distance euclidienne. La recherche d'images est notamment utilisée dans les moteurs de recherche, tels qu'Acsepto, le moteur de recherche de logos de marques déposées développé par Coexya. Cette thèse vise à améliorer les performances et la fiabilité des systèmes de recherche d'images. À cette fin, nous explorons la robustesse dans l'apprentissage profond selon trois perspectives. Nous exposons d'abord les difficultés qui se présentent lors de l'optimisation des métriques d'évaluation utilisées en recherche d'images, telles que la Précision Moyenne (AP) et le rappel à k, à savoir la non-différentiabilité et la non-décomposabilité. Elles rendent ces métriques difficilement optimisables par descente de gradient stochastique. Il est ainsi nécessaire d'utiliser des fonctions de coût de substitution pour entraîner les réseaux de neurones profonds (DNN), ce qui induit une disparité entre l'objectif d'entraînement et les métriques d'évaluation. Pour réduire cet écart, nous introduisons une famille de fonctions de coût différentiables qui sont des bornes supérieures des métriques d'évaluation usuelles et incluent un objectif explicite de décomposabilité. Cette famille permet d’optimiser plusieurs métriques d'évaluation, telles que l’AP, le rappel à k et le NDCG. Cette approche, appelée ROADMAP, surpasse les fonctions de coût de l'état de l'art sur plusieurs bases de données de recherche d'images. Ensuite, nous cherchons à réduire la gravité des erreurs commises par les systèmes de recherche d'images basés apprentissage profonds. En effet, les réseaux de neurones, lorsqu'ils ne sont pas contraints, ont tendance à commettre des erreurs sévères, qui sont difficilement compréhensibles par les humains. Ces erreurs graves peuvent réduire la confiance des utilisateurs dans les moteurs de recherche. Nous proposons une solution en exploitant les relations hiérarchiques entre les catégories d'images. En effet, les relations sémantiques peuvent servir de proxy pour la façon dont les humains jugent la gravité d'une erreur. Ces relations sont intégrées dans une nouvelle extension de l’AP au cadre hiérarchique, H-AP. Nous définissons ensuite HAPPIER, une fonction de coût différentiable optimisant H-AP, construite similairement à ROADMAP. Nous montrons quantitativement et qualitativement que les réseaux de neurones entraînés avec HAPPIER produisent des classements avec des erreurs moins sévères et se rapprochent davantage de la sémantique des ensembles de données. Enfin, nous abordons les capacités de détection d’exemples hors distribution (OOD) des DNN. Il s'agit de détecter des données qui ne devraient pas être traitées par les DNN, par exemple, des images de catégories qui n'ont pas été vues pendant l'entraînement. Nous introduisons HEAT, une nouvelle méthode de détection d’OOD. HEAT est une méthode post-hoc, ce qui la rend applicable à potentiellement toutes les architectures pré-entraînées, sans nécessité de les affiner. Nous proposons d'utiliser les modèles à énergie pour raffiner les méthodes de la littérature, en apprenant un terme résiduel pour améliorer leur expressivité. Nous exploitons ensuite leurs différents biais de modélisation complémentaires en utilisant la composition de fonctions d’énergies pour améliorer les capacités de détection d’OOD des DNN. Nous démontrons quantitativement l'intérêt de ces deux composantes sur trois jeux de données, pour lesquels HEAT surpasse les méthodes de l'état de l'art en détection d'OOD.

This thesis tackles robust image retrieval with deep learning. Image retrieval consists in querying large databases to find images visually similar to a query image. Deep learning approaches involve learning representations to measure how are similar images are, e.g. using the Euclidean distance. Image retrieval is notably used in search engines, for instance trademarked logo retrieval with Coexya's Acsepto. The motivation of this thesis is to improve image retrieval systems performances and reliability. To this end, we explore in this thesis the robustness of deep learning from three perspectives. We first expose the shortcomings that arise when optimizing for the evaluation metrics typically used in image retrieval, e.g. Average Precision (AP) and recall at k, namely non-differentiability and non-decomposability. These shortcomings make these metrics not directly amenable to stochastic gradient descent. This forces the use of surrogate losses to train deep neural networks (DNNs), which leads to a discrepancy between the training objective and the evaluation metrics of image retrieval systems. To reduce this gap, we introduce a family of differentiable rank-based losses that are upper bounds of the evaluation metrics and include an objective to explicitly reduce non-decomposability. We show that this framework works for several evaluation metrics, e.g. AP, recall and NDCG. Using ROADMAP to optimize AP compares favorably to other state-of-the-art surrogate losses on several image retrieval benchmarks. Then, we aim to reduce the severity of the mistakes from deep image retrieval systems. Indeed, DNNs, when not controlled, tend to make severe mistakes that do not align well with human understanding. These severe errors can reduce the trust of users in search engines. We address this issue by leveraging hierarchical relations between categories. Indeed, hierarchical relations can serve as a proxy for how humans would judge the severity of a mistake. These relations are integrated in a novel extension of the AP to the hierarchical setting, H-AP. From this metric we derive HAPPIER, a differentiable surrogate to H-AP built upon the ROADMAP framework. We show quantitatively and qualitatively that DNNs trained with HAPPIER produce ranking with less severe mistakes and closer align to the semantics of the datasets. Finally, we address the out-of-distribution (OOD) detection capabilities of DNNs. It consists in detecting inputs that should not be processed by DNNs, e.g. images from categories that were not seen during training. We introduce HEAT, a new OOD detection method. HEAT is a post-hoc method, which makes it applicable to virtually any pre-trained backbones, without the need to fine-tune them. We propose to use the principled energy-based model framework to correct methods from the literature, by learning a residual term to improve their expressiveness. We then leverage their different modeling biases using energy function composition to improve OOD detection capabilities of DNNs. We show in experiments the interest of the two components of HEAT. Furthermore, we show that HEAT outperforms state-of-the-art OOD detection methods.