Intégration de connaissances de haut-niveau dans un système d'apprentissage par réseau de neurones pour la classification d'images

Integrating high-level knowledge in a neural network learning system for image classification

• Auteur / Autrice : Mouna Sabrine Mayouf
• Direction : Florence Dupin de Saint Cyr-Bannay
• Type : Thèse de doctorat
• Discipline(s) : Informatique et Télécommunications
• Date : Soutenance le 17/11/2023
• Etablissement(s) : Toulouse 3
• Ecole(s) doctorale(s) : École doctorale Mathématiques, informatique et télécommunications (Toulouse)
• Partenaire(s) de recherche : Laboratoire : Institut de Recherche en Informatique de Toulouse (1995-....)
• Jury : Président / Présidente : Adrian Basarab
• Jury : Examinateurs / Examinatrices : Nadjib Laazar
• Jury : Rapporteurs / Rapporteuses : Adrian Basarab, Béatrice Duval

Mots clés

Mots clés contrôlés

Classification automatique

Apprentissage automatique

Réseaux neuronaux (informatique)

Mots clés libres

Réseaux de neurones

Explicabilité

Classification multi-labels

Préparation des données

Apprentissage par curriculum

Mécanismes d'abstention

Neural networks

Explainability

Multi-label classification

Data preparation

Curriculum learning

Abstention mechanisms

Résumé

Les réseaux neuronaux ont fait preuve d'avancées remarquables dans des tâches réputées difficiles, comme la classification automatique d'images ou le traitement du langage naturel. Toutefois, leur nature de boîte noire limite leur explicabilité et entrave leur capacité à exploiter des connaissances extérieures aux données. Cette thèse a pour but d'explorer et de proposer des techniques d'intégration des connaissances de haut niveau dans les réseaux neuronaux afin d'améliorer les performances et l'interprétabilité. La première partie de la thèse est centrée sur l'intégration de connaissances aux données d'entrée d'un réseau. Son premier chapitre s'adresse à la préparation des données. On y propose une formalisation du prétraitement afin de garantir la transparence et la reproductibilité de cette étape. Cette formalisation nous permet d'étudier l'impact de la data-augmentation : pour caractériser ce qu'est une bonne préparation des données, et l'état informatif d'un dataset, un ensemble de mesures et de principes est proposé, ensuite des protocoles expérimentaux sont conçus afin d'évaluer ces principes sur le dataset BreakHis. Le deuxième chapitre de cette partie s'adresse à l'exploitation de connaissances haut-niveau pour l'établissement d'un ordre de présentation des données au réseau. Nous introduisons l'apprentissage par curriculum incrémental sur l'ordre de passage des données en entrée. Les résultats obtenus améliorent l'exactitude et la vitesse de convergence. Bien que cette étude soit menée sur le dataset BreakHis, nous pensons qu'elle est généralisable à n'importe quel autre dataset. La deuxième partie est centrée sur l'intégration de connaissances au sein de l'architecture du réseau et au niveau de sa sortie. Dans ce cadre, nous nous sommes intéressés à la classification multi-label hiérarchique, pour laquelle nous avons formalisé les connaissances représentant le lien hiérarchique. Pour cela nous avons introduit deux contraintes : l'une représentant le fait qu'un objet ne peut être affecté qu'à une seule classe à un niveau donné de la hiérarchie, et l'autre imposant que l'affectation globale d'un objet respecte la hiérarchie de classe (par exemple, on interdit de classer un élément comme abeille pour son sous-type et mammifère pour son sur-type). Nous avons conçu une architecture et une fonction de perte qui imposent ces deux contraintes durant l'apprentissage. L'architecture se distingue de l'état de l'art par le fait qu'un seul réseau est utilisé pour prédire simultanément les labels des différents niveaux : toutes les couches sont responsables de la prédiction du n-uplet des classes. Plusieurs variantes du réseau ont été expérimentées sur cinq jeux de données différents et les résultats confirment l'efficacité des contraintes hiérarchiques soutenant ainsi l'importance de la prise en compte de connaissances externes. Afin de raffiner les résultats de cette classification hiérarchique, nous avons introduit un mécanisme d'abstention, sous forme d'une troisième contrainte poussant le réseau à donner une prédiction au niveau de spécificité le plus précis possible sur lequel sa confiance est suffisante et s'abstenir sinon. Nous avons défini différents seuils de confiance et proposé différentes contraintes sur les seuils relativement à la hiérarchie des classes. Pour évaluer ce mécanisme, de nouvelles métriques de classification prenant en compte l'abstention ont été définies. Nous avons mené des expérimentations sur les mêmes jeux de données et les résultats ont montré l'intérêt de l'abstention, et la nécessité de définir un seuil empirique adapté à chaque dataset. Pour conclure, les travaux de cette thèse soulignent l'intérêt d'exploiter des connaissances externes dans le domaine des réseaux de neurones ceci au niveau des trois composantes de ce système d'apprentissage : en entrée pendant la préparation des données, dans la structure du réseau, et à la sortie lors de la prise de décision de classification.

Neural networks have made remarkable improvements in challenging tasks such as automatic image classification and natural language processing. However, their black-box nature hinders explainability and limits their ability to leverage external knowledge. The purpose of this thesis is to explore and propose techniques for integrating knowledge into neural networks in order to improve their performance and interpretability. The first part of the thesis focuses on integrating knowledge at the input level. The first chapter deals with data preparation. A formalization of pre-processing is proposed to ensure the transparency and reproducibility of this step. This formalization enables us to study the impact of data augmentation: to characterize a good data preparation, and the informative state of a dataset, a set of measures and principles is proposed, then experimental protocols are designed to evaluate these principles on the BreakHis dataset. The second chapter of this part focuses on exploiting high-level knowledge to determine the order in which data should be inserted into the network. We introduce an incremental curriculum learning for ordering the input data. The results obtained show an improvement of accuracy and convergence speed. Although this study is carried out on the BreakHis dataset, we believe that it can be generalized to any other dataset. The second part is devoted to the integration of knowledge within the network architecture and at the output level. In this context, we focus on hierarchical multi-label classification, for which we formalize the knowledge representing the hierarchical link. For this aim, we introduce two constraints: one representing the fact that an object can only be assigned to one class at a given level of the hierarchy, and the other imposing that the global assignment of an object respects the class hierarchy (for example, we forbid classifying an element as a bee for its sub-type and a mammal for its super-type). We design an architecture and a loss function that impose these two constraints during learning. The architecture differs from the state of the art in that a single network is used to simultaneously predict the labels of the different levels: all layers are responsible for predicting the tuple of classes. Several variants of the network have been tested on five different datasets and the results confirm the efficiency of the hierarchical constraints, thus supporting the importance of taking external knowledge into account. In order to refine the results of this hierarchical classification, we introduce an abstention mechanism, in the form of a third constraint that enforces the network to give a prediction at the most precise level of specificity on which its confidence is sufficient and to abstain otherwise. We define different confidence thresholds and proposed different constraints on the thresholds accordingly to the class hierarchy. To evaluate this mechanism, new classification metrics that take abstention into account are defined. We carry out experiments on the same five datasets and the results show the interest of abstention, and the need to define empirical thresholds adapted to each dataset. In conclusion, the work in this thesis highlights the value of exploiting external knowledge, this is true for the three main components of a neural network: at the input level during data preparation, in the structure of the network, and at the output level when classification decisions are made.