Traitement d'échantillons confus dans un modèle basé sur la classification d'images

Dealing with confusing samples in image classification based model

• Auteur / Autrice : Jiarui Xie
• Direction : Thierry Chateau, Violaine Antoine
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 11/07/2022
• Etablissement(s) : Université Clermont Auvergne (2021-...)
• Ecole(s) doctorale(s) : École doctorale des sciences pour l'ingénieur (Clermont-Ferrand)
• Partenaire(s) de recherche : Equipe de recherche : Laboratoire d'Informatique, de Modélisation et d'Optimisation des Systèmes
• Jury : Président / Présidente : Engelbert Mephu-Nguifo
• Jury : Examinateurs / Examinatrices : Nicolas Sutton-Charani
• Jury : Rapporteurs / Rapporteuses : David Mercier, Didier Coquin

Mots clés

Mots clés contrôlés

Incertitude (théorie de l'information)

Mots clés libres

Classification partielle

Estimation de l'incertitude

Théorie de Dempster-Shafer

Logique subjective

Échantillon confus

Distribution de Dirichlet

Fonction en forme de cloche

Partial classification

Uncertainty estimation

Dempster-Shafer theory

Subjective logic

Confusing sample

Dirichlet distribution

Bell-shaped function

Résumé

Pour les modèles basés sur la classification d'images, il est important de garantir que le modèle entraîné par des échantillons du domaine fasse des prédictions correctes et fiables lorsqu'il rencontre des échantillons confus. Par conséquent, trois nouvelles méthodes entourant l'estimation de l'incertitude et la classification partielle, respectivement, sont proposées. La portée de la thèse est limitée au modèle basé sur la classification d'images, et l'échantillon confus contient des échantillons hors-domaine et imprécis.La stratégie d'estimation de l'incertitude peut calculer une valeur représentant l'incertitude prédictive, puis détecter les échantillons confus en les comparant à un seuil prédéfini.Dans la première partie de cette thèse, une méthode d'estimation d'incertitude basée sur la logique subjective (SLUE) est proposée en étendant la méthode existante nommée Evidential Deep Learning (EDL). Par rapport à l'EDL qui négligeait les avantages du taux de base, la méthode SLUE prend explicitement en compte les taux de base. Le taux de base dans SLUE est utilisé pour guider le processus de formation dans la direction souhaitée.Grâce à l'estimation de l'incertitude, nous pouvons décider de rejeter ou d'accepter une prédiction. Cependant, il est plus raisonnable de prédire un sous-ensemble pour une prise de décision prudente. Par conséquent, une classification partielle dérivée de la sortie du modèle (PCMO) est proposée dans la deuxième partie. La méthode PCMO peut attribuer des croyances à des sous-ensembles imbriqués selon la théorie de Dempster-Shafer (DST). Cela peut atténuer l'augmentation exponentielle du nombre de sous-ensembles due à l'augmentation du nombre de classes. Comparée aux méthodes existantes, la méthode PCMO présente un cadre simple et évolutif. D'une part, la méthode PCMO est remplie uniquement sur la sortie du modèle qui peut être appliquée à n'importe quel réseau neuronal convolutif pré-entraîné, sans qu'il soit nécessaire de réentraîner le modèle ou d'effectuer d'autres modifications. D'autre part, en considérant les bonnes caractéristiques de la fonction log et en analysant le modèle régulier de la sortie du modèle, une transformation nouvelle et raisonnable de la sortie du modèle en distribution de possibilités est proposée.Une faiblesse de la méthode PCMO est qu'elle ne peut pas fournir de croyances pour l'ensemble vide et l'ensemble entier. Par conséquent, nous avons repensé le processus de calcul des possibilités et proposé une nouvelle méthode appelée PCBS qui combine la DST et la fonction en forme de cloche. Dans ce cas, la fonction en forme de cloche est responsable du calcul des possibilités en prenant les informations fournies par la sortie de formation. Ce faisant, le modèle est capable d'attribuer des croyances à l'ensemble vide et à l'ensemble entier, ce qui permet de distinguer les échantillons hors-domaine des échantillons imprécis.

Guaranteeing the model trained by in-domain samples to make correct and reliable predictions when encountering confusing samples is significant for image classification based models. Consequently, three novelty methods surrounding uncertainty estimation and partial classification, respectively, are proposed. The thesis scope is limited to the image classification based model, and the confusing sample contains out-of-domain, and imprecise samples.The uncertainty estimation strategy can calculate a value representing the predictive uncertainty, then detect confusing samples by comparing to a pre-defined threshold. In the first part of this thesis, a Subjective Logic based Uncertainty Estimation method (SLUE) is proposed by extending the existing method named Evidential Deep Learning (EDL). Compared with the EDL which overlooked the advantages of the base rate, the SLUE method takes the base rates explicitly into account. The base rate in SLUE is used to guide the training process in the desired direction.Through uncertainty estimation, we can decide whether to reject or accept a prediction. However, it is more reasonable to predict a subset for cautious decision-making. Consequently, a Partial Classification derived from Model Output (PCMO) is proposed in the second part. The PCMO method can assign beliefs to nested subsets under the Dempster-Shafer Theory (DST). That can alleviate the exponential increase in the subset number brought by the increase of the class number. Compared with the existing methods, the PCMO method shows a simple and scalable framework. On the one hand, the PCMO method is fulfilled only based on the model output that can be applied to any pre-trained convolutional neural networks, without any demand to retrain the model or conduct any further modifications. On the other hand, by considering good features of the log function and analyzing the regular pattern of model output, a novel and reasonable transformation from model output to possibility distribution is proposed.One weakness of the PCMO method is that it cannot provide beliefs for the empty set and the entire set. Consequently, we rethink the possibility calculation process in the PCMO method and proposed a new method named PCBS that combines the DST and the bell-shaped function (BSF). In which, the BSF is responsible for the possibility calculation by taking the information provided by the training output. By doing that the model is able to assign beliefs to the empty set and the entire set leading to the ability to distinguish between the out-of-domain samples and imprecise samples.