Réduction de l’oubli catastrophique à l’aide de méthodes de distillation et de transfert de caractéristiques pour l’apprentissage incremental profond

Mitigating catastrophic forgetting via feature transfer and knowledge consolidation for deep class-incremental learning

• Auteur / Autrice : Quentin Ferdinand
• Direction : Benoît Clément, Panagiotis Papadakis
• Type : Thèse de doctorat
• Discipline(s) : Sciences et technologies de l’information et de la communication - Informatique
• Date : Soutenance le 22/11/2023
• Etablissement(s) : Brest, École nationale supérieure de techniques avancées Bretagne
• Ecole(s) doctorale(s) : École doctorale Sciences pour l'ingénieur et le numérique
• Partenaire(s) de recherche : Laboratoire : Laboratoire des sciences et techniques de l'information- de la communication et de la connaissance / Lab-STICC
• Jury : Président / Présidente : Romain Billot
• Jury : Examinateurs / Examinatrices : David Filliat, Gilles Le Chenadec, Quentin Oliveau
• Jury : Rapporteur / Rapporteuse : Céline Hudelot, Sébastien Lefèvre

Mots clés

Mots clés contrôlés

Apprentissage automatique

Mots clés libres

Apprentissage incrémental

Oubli catastrophique

Distillation de connaissances

Réseau de neurone convolutif

Apprentissage supervisé

Incremental learning

Catastrophic forgetting

Knowledge distillation

Convolutional neural network

Supervised learning

Résumé

Les méthodes d’apprentissage profond actuelles sont conçues de manière statique, avec un certain nombre de classes à reconnaître connu et prédéfini à l’avance. L’apprentissage incrémental, en revanche, étudie le scénario plus réaliste dans lequel certaines classes inconnues peuvent arriver au fur et à mesure et le modèle doit s’adapter et apprendre à reconnaître ces nouvelles catégories. Malheureusement, les réseaux neuronaux profonds entrainés de cette manière souffrent d’un oubli catastrophique, provoquant une dégradation significative des performances sur les classes précédemment rencontrées. Diverses méthodes ont été explorées pour atténuer ce problème en rectifiant la couche de classification des modèles incrémentaux. Cependant, un aspect tout aussi important réside dans la dégradation de la qualité des caractéristiques que le modèle extrait des images. Cette thèse se concentre spécifiquement sur l’exploration de diverses approches visant à améliorer leur pouvoir discriminant, facilitant ainsi l’adaptation à de nouvelles classes tout en préservant les caractéristiques discriminatives des classes précédentes lors de l’entraînement incrémental. Plus précisément, deux méthodes ont été proposées et rigoureusement évaluées, atteignant des performances comparables où supérieures à l’état de l’art. La première approche présentée explore l’utilisation de méthodes contrastives pendant l’apprentissage incrémental afin d’améliorer les caractéristiques extraites par le modèle, tandis que la seconde utilise une stratégies d’expansion et de compression de la partie responsable de l’extraction des caractéristiques dans le réseau de neurone afin de réduire significativement l'oubli.

Deep learning methods are designed for closed-set recognition, where a predefined set of known classes is assumed. However, in real-world scenarios, open-set recognition is more realistic, allowing for the possibility of encountering unknown or novel classes during testing. Classincremental learning specifically addresses this problem by focusing on continuously improving models through the incorporation of new categories over time. Unfortunately, deep neural networks trained in this manner suffer from catastrophic forgetting, resulting in significant performance degradation on previously encountered classes. While various methods have been explored to alleviate this issue by rectifying theclassification layer of deep incremental models, an equally important aspect resides in the degradation of feature quality, which can impede downstream classification performance. This thesis specifically focuses on investigating diverse approaches to enhance feature quality, facilitating adaptation to new classes while preserving discriminative features for past classes during incremental training. Specifically two methods have been proposed and rigorously evaluated on widely established benchmarks, attaining performances either comparable or superior to the state-of-the-art . The first approach presented investigates the use of contrastive methods during incremental learning in order to improve the features extracted by incremental models while the second one uses an expansion and compression scheme to greatly reduce the forgetting happening at a feature level.