Stratégies de combinaison de contenus pour la classification d’images

Content combination strategies for Image Classification

• Auteur / Autrice : Rémy Sun
• Direction : Matthieu Cord, Nicolas Thome
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 17/10/2022
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris (1992-...)
• Partenaire(s) de recherche : Laboratoire : Institut des systèmes intelligents et de robotique (Paris ; 2009-....)
• Jury : Président / Présidente : Catherine Achard
• Jury : Examinateurs / Examinatrices : Hervé Jégou, Élisa Fromont
• Jury : Rapporteurs / Rapporteuses : Frédéric Precioso, Céline Hudelot

Mots clés

Mots clés contrôlés

Classification

Apprentissage profond

Apprentissage automatique

Intelligence artificielle

Mots clés libres

Intelligence artificielle

Apprentissage machine

Apprentissage profond

Classification

Augmentation de données

Mixage

Artificial intelligence

Machine learning

Deep learning

Résumé

Dans cette thèse, nous nous attaquons au problème de la classification d'images, un problème fondamental pour la vision par ordinateur et le raisonnement visuel en général. Nous nous intéressons aux différentes façons d'augmenter artificiellement la taille du jeu de données. Plus précisément, nous mettons cette technique à profit pour apprendre au algorithmes neuronaux à réconcilier l'information mixée à partir de différents exemples par le biais des augmentation de données mixantes afin de mieux comprendre le problème sous-jacent. Nous proposons d'abord un nouveau type d'augmentation qui aide le modèle à généraliser en incrustant le contenu sémantique d'un exemples dans le contexte non-sémantique d'un autre pour générer des exemples mixtes appartenant à une unique classe. Pour ce faire, nous proposons de nouvelles architectures permettant de générer de tels exemples, et entrainons de meilleures classificateurs dans un contexte semi-supervisé. Dans un second temps, nous montrons que le mixage d'image peut être utilisé comme un schéma de compression d'entrées permettant d'entraîner de multiples sous-réseaux au sein d'un réseau de base. En effet, en formalisant la méthode séminal ``multi-input multi-output'' (MIMO) comme un schéma d'augmentation de données par mixage d'images. Finalement, nous adaptons ces derniers modèles MIMO aux récents modèles Vision Transformer. Nos travaux montrent que ces nouvelles architectures présentent leurs propres uniques incompatibilités avec l'entraînement MIMO, mais qu'elles y sont aussi extrêmement adaptées à d'autres égards.

In this thesis, we tackle the question of deep image classification, a fundamental issue for computer vision and visual understanding in general. We look into the common practice of engineering new examples to augment the dataset. We take this as an opportunity to teach neural algorithms to reconcile information mixed from different samples with Mixing Sample Data Augmentation so as to better understand the problem. To this end, we study both how to edit the content in a mixed image, and what the model should predict for the mixed images. We first propose a new type of data augmentation that helps model generalize by embedding the semantic content of samples into the non-semantic context of other samples to generate in-class mixed samples. To this end, we design new neural architectures capable of generating such mixed samples, and then show the resulting mixed inputs help train stronger classifiers in a semi-supervised setting where few labeled samples are available. In a second part, we show input mixing can be used as an input compression method to train multiple subnetworks in a base network from compressed inputs. Indeed, by formalizing the seminal multi-input multi-output (MIMO) framework as a mixing data augmentation and changing the underlying mixing mechanisms, we obtain strong improvements of over standard models and MIMO models. Finally, we adapt this MIMO technique to the emerging Vision Transformer (ViT) models. Our work shows ViTs present unique challenges for MIMO training, but that they are also uniquely suited for it.