sélection des caractéristiques, codage parcimonieux et normalisation pour la classification d’images de matériaux

Feature selection, sparse coding and normalization for material image Classification

• Auteur / Autrice : Sixiang Xu
• Direction : Alain Trémeau
• Type : Thèse de doctorat
• Discipline(s) : Informatique, Image, Vision
• Date : Soutenance le 14/12/2021
• Etablissement(s) : Lyon
• Ecole(s) doctorale(s) : École doctorale Sciences Ingénierie Santé (Saint-Etienne)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Hubert Curien (Saint-Etienne ; 1995-....)
• Jury : Président / Présidente : Christophe Ducottet
• Jury : Examinateurs / Examinatrices : Nicolas Thome, Gabriela Csurka, Damien Muselet
• Jury : Rapporteur / Rapporteuse : Maria Vanrell Martorell, Jochen Lang

Mots clés

Mots clés contrôlés

Vision par ordinateur

Codage

Transfert d'apprentissage

Matériaux

Classification

Mots clés libres

Classement des images

Classification des matériaux

Mise en commun sans ordre

Transfert d'apprentissage

Score de confiance

Codage parcimonieux

Image classification

Material classification

Orderless pooling

Transfer learning

Confidence score

Fisher score

Sparse coding

Convolutional Neural Network

Résumé

La classification d'images, qui consiste à prédire une seule classe pour chaque image d'entrée, est un sujet central dans la communauté de la vision par ordinateur. Et comme l'une de ses tâches, la classification des matériaux à partir d'une image est un défi pour les humains mais aussi pour les systèmes informatiques car les matériaux peuvent avoir différentes apparences en fonction de leurs propriétés de surface, de la géométrie de l'éclairage, de la géométrie de visualisation, paramètres de l'appareil photo, etc.Au début, les premiers ensembles de données d'images de matériaux sont créés avec ces dépendances bien contrôlées et connues. Outre les images et leurs catégories, des informations sur les dépendances sont également fournies en tant que caractéristiques complémentaires. De nombreux travaux ont été proposés, qui atteignent des performances élevées sur la tâche de classification, mais leur généralité d'application dans le monde réel est limitée car seules quelques instances de matériaux représentent une catégorie matérielle et les dépendances doivent être mesurées à chaque fois.Ces dernières années, les nouveaux ensembles de données de matériaux ont tendance à être à grande échelle et sans aucune dépendance. Toutes les images sont prises dans l'environnement du monde réel, plutôt que dans la salle de laboratoire. Ces ensembles de données sont sans aucun doute plus difficiles que jamais pour la classification et mieux adaptés à une application réelle. De plus, une architecture révolutionnaire de classification d'images, Convolutional Neural Network (CNN), a émergé avec des performances élevées dans un ensemble de données d'images à grande échelle, comme ImageNet, qui est dédié à la classification d'objets dans le monde réel. Cette architecture permet une classification des matériaux dans le monde réel avec une grande précision.Cette thèse étudie comment implémenter de manière appropriée le CNN, qui est pré-formé par ImageNet, dans la tâche de classification des matériaux. Généralement, nous appelons ce processus l'apprentissage par transfert, car nous transférons les connaissances acquises dans ImageNet dans notre tâche.Dans ce but, nos deux approches sont rapportées. Ils fonctionnent tous sur l'agrégation des caractéristiques extraites par le CNN à une représentation plus puissante pour la classification, mais les deux sont de manière totalement différente. La première consiste à sélectionner des caractéristiques plus discriminantes parmi tous les candidats avec un critère, appelé score de confiance, montrant à quel point le classificateur est confiant dans sa prédiction. Nous supposons que les caractéristiques avec un score de confiance élevé sont plus discriminantes. Fisher vector est une approche d'agrégation de caractéristiques de pointe et notre seconde approche est inspirée de l'un de ses travaux antérieurs, qui améliore la représentation des vecteurs Fisher lorsqu'elle est appliquée aux caractéristiques de CNN. Avec quelques modifications, nous l'intégrons en tant que module dans le CNN et lui permettons, ainsi qu'à d'autres composants du CNN, d'être appris ensemble sous la supervision de la classification. Pour valider nos solutions, nous les testons sur plusieurs ensembles de données largement utilisés et les comparons avec des approches de pointe récentes, montrant leurs bonnes performances. Nous menons également des études d'ablation afin d'étudier comment nos solutions atteignent de bonnes performances.

Image classification, which consists in predicting a single class for each input image, is a core subject in the computer vision community. And as one of its tasks, material classification from an image is challenging for humans but also for computer systems because materials may have various appearances depending on their surface properties, lighting geometry, viewing geometry, camera settings, etc.In the beginning, first material image datasets are created with these dependencies well controlled and known. Besides images and their categories, dependencies information is also provided as complementary features. Many works have been proposed, which achieve high performance on the classification task but their generality of real-world application is limited because only a few of material instances represent a material category and dependencies should be measured every time.In the recent years, new material datasets tend to be in large scale and to be without any dependencies. All the images are taken under the real-world environment, instead of in the laboratory room. These datasets, no doubt, are more challenging than ever and more fit in real-world application. Moreover, a revolutionary image classification architecture, Convolutional Neural Network(CNN), has emerged with showing high performance in large scale image dataset, like ImageNet, which is dedicated for object classification in the real word. This architecture makes real-world material classification in high accuracy possible.This thesis investigates how to implement appropriately the CNN, which is pretrained by ImageNet, into material classification task. Generally, we call this process as transfer learning as we transfer the knowledge learned in ImageNet into our task.To this end, our two approaches are reported. They all work on aggregating features extracted by the CNN into a more powerful representation for classification, however both are in totally different ways. The first one consists in selecting more discriminative features from all the candidates with a criterion, called confidence score, showing how confident the classifier is to its prediction. We assume that features with high confidence score are more discriminative. Fisher vector is a state-of-the art feature aggregation approach and the second one is inspired by one of its former works, which ameliorates fisher vector representation when applied to CNN’s features. With some modification, we embed it as a module into the CNN and allow it and other components of CNN to be trained together under the classification supervision. To validate our solutions, we test them on the several widely-used datasets and compare them with recent state-of-the art approaches, showing their nice performance. We also conduct some ablation study in order to study how our solutions achieve good performance.