Les Défis des Applications Concrètes de la Classification d'Images à partir de Peu d'Exemples

Challenges of Real Life Few-Shot Image Classification

• Auteur / Autrice : Etienne Bennequin
• Direction : Marc Aiguier, Myriam Tami, Céline Hudelot
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 19/09/2023
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale INTERFACES : approches interdisciplinaires, fondements, applications et innovation
• Partenaire(s) de recherche : Laboratoire : Mathématiques et informatique pour la complexité et les systèmes (Gif-sur-Yvette, Essonne ; 2006-....)
• Partenaire(s) de recherche : référent : CentraleSupélec (2015-....)
• Partenaire(s) de recherche : graduate school : Université Paris-Saclay. Graduate School Sciences de l'ingénierie et des systèmes (2020-....)
• Jury : Président / Présidente : Stéphane Canu
• Jury : Examinateurs / Examinatrices : Anissa Mokraoui, Vincent Gripon, Hervé Le Borgne, Florian Yger
• Jury : Rapporteurs / Rapporteuses : Anissa Mokraoui, Vincent Gripon

Mots clés

Mots clés contrôlés

Vision par ordinateur

Apprentissage automatique

Apprentissage profond

Mots clés libres

Vision automatique

Apprentissage machine

Apprentissage avec peu d’exemples

Apprentissage profond

Image classification

Computer vision

Few-Shot learning

Machine learning

Deep learning

Résumé

En 2015, alors que les réseaux de neurones convolutionnels atteignaient des performances surhumaines en reconnaissance d'image à grande échelle, la communauté a commencé à observé que ces performances peinaient à se reproduire avec de petits volumes de données. Les algorithmes d'apprentissage profond présentaient de faibles résultats lorsqu'on leur demandait de classifier des images parmi des classes pour lesquelles on ne leur fournissait qu'une poignée d'exemples, à l'inverse de la capacité des humains à reconnaître de nouveaux concepts à partir de très peu d'exemples. Ainsi, un nouveau domaine de recherche apparut dans le paysage de l'apprentissage machine : le Few-Shot Learning, ou apprentissage à partir de peu de données. Au sein de ce nouveau domaine, nous avons rapidement développé des algorithmes dédiés, construit des jeux de données et établi de nombreuses règles et configurations restrictives pour évaluer les modèles d'apprentissage à partir de peu de données. Si ce procédé d'abstraction s'est montré très propice à des comparaisons faciles et des itérations rapides, il a également restreint la recherche en apprentissage à partir de peu d'exemples à la résolution d'un problème hypothétique, par de nombreux aspects non représentatif des problèmes industriels réels que nous avons rencontrés à Sicara. Dans cette thèse, nous mettons en évidence plusieurs divergences entre la recherche académique et les applications réelles de l'apprentissage à partir de peu d'exemples, et nous proposons des contre-mesures pour réduire cet écart.Tout d'abord, la configuration standard de la classification d'images à partir de peu d'exemples suppose que les quelques exemples d'images disponibles (l'ensemble support) sont issues de la même distribution que les images à classifier (l'ensemble des requêtes). En réalité, cette hypothèse est souvent contredite, lorsque l'ensemble support correspond à des images acquises dans un environnement contrôlé (par exemple le catalogue d'un site de e-commerce) tandis que les images requêtes sont plus chaotiques (par exemple des photographies prises par des utilisateurs individuels). Nous formalisons ce problème pour la première fois, et proposons des jeux de données et des procédés d'évaluation dédiés, ainsi qu'une première méthode pour faciliter les efforts de recherche.Par ailleurs, dans de nombreuses applications, nous ne pouvons pas assurer que les images requêtes appartiennent effectivement aux classes définies dans l'ensemble support. Ce problème était déjà abordé dans des précédents travaux, mais les méthodes complexes développées pour ce problème ne montraient pas d'incrément notable par rapport à des méthodes naïves. Dans cette thèse, nous mettons à profit l'ensemble des requêtes par une approche simple et raisonnée pour atteindre des performances utilisables en reconnaissance à partir de peu d'exemples dans un ensemble ouvert.Enfin, nous avons observé que dans les bancs de test les plus populaires dans la recherche académique, les modèles étaient chargés de classifier parmi des classes correspondant à des concepts très distants, comme distinguer une tarte d'un serpent. A l'inverse, la plupart des applications du monde réel impliquent une distinction entre des concepts très proches : des bactéries d'autres bactéries, des outils d'autres outils, ou des composants électroniques d'autres composants électroniques. Dans cette thèse, nous proposons une nouvelle méthode d'évaluation pour résoudre ces biais.

In 2015, while deep neural networks achieved super-human performance in large-scale image recognition, we started observing that this performance could not be reproduced with small volumes of data. Deep learning algorithms showed weak results when asked to classify images among classes for which there were given only a handful of examples. In contrast, the ability to recognize new concepts from very few examples was deemed to be a signature ability of human beings. As a result, a new field emerged in the Machine Learning landscape: extit{Few-Shot Learning} ie the ability to learn from a few examples, or extit{shots}. In this new field, we rapidly developed specific algorithms, designed specific benchmarks, and drew many rules and restrictive settings to evaluate Few-Shot Learning methods.While this abstraction process was very useful for easy comparison and rapid iterations and led to many interesting findings, it also restricted Few-Shot Learning research to the resolution of a toy problem. We find that this artificially created problem is, in many ways, not representative of the real industrial use cases that we encountered at Sicara. In this thesis, we highlight several divergences between the academic research and the real use cases for Few-Shot Learning and propose counter-measures to bridge this gap.Firstly, the standard Few-Shot Image Classification setting uses the assumption that the few available example images (the extit{support set}) are drawn from the same distribution as the images we intend to classify (the extit{query set}). In reality, this assumption often breaks, when the support set corresponds to images acquired in a controlled environment (eg the catalog of an online marketplace) while query images are taken in a more chaotic fashion (eg photos uploaded by individual users). We formalize this problem as extit{Few-Shot Learning under Support-Query Shift} and provide specific benchmarks, evaluation processes, and a baseline to quickstart the efforts towards its solving.Secondly, in many applications of Few-Shot Learning, we cannot enforce that query images do indeed belong to the classes defined in the support set. This problem, known in the literature as Few-Shot Open-Set Recognition, was already addressed by a handful of previous works. However, the convoluted methods that were designed for this specific problem fail to improve on naive baselines. In this thesis, we leverage the query set through a simple and principled solution to achieve usable performance in Few-Shot Open-Set Recognition.Finally, we observed that the most popular academic benchmarks presented an important bias, resulting in models being evaluated on few-shot classification tasks that are not representative of real-life applications. Indeed, with those benchmarks, we tend to ask the model to classify between classes that correspond to very distant concepts eg distinguishing a pie from a snake. In contrast, most applications involve a distinction between very similar concepts eg bacteria from bacteria, tools from tools, food from food, or electronic parts from electronic parts. In this thesis, we propose a new benchmarking method to combat this bias in our evaluation process.