Apprentissage incrémental par classes en environnement sans exemples passés

Class-Incremental Learning in an Exemplar-Free setup

• Auteur / Autrice : Grégoire Petit
• Direction : David Picard, Bertrand Delezoide
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 05/12/2023
• Etablissement(s) : Marne-la-vallée, ENPC
• Ecole(s) doctorale(s) : École doctorale Mathématiques, Sciences et Technologies de l'Information et de la Communication
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique de l'Institut Gaspard Monge (1997-2009)
• Jury : Président / Présidente : Françoise Prêteux
• Jury : Examinateurs / Examinatrices : David Picard, Bertrand Delezoide, Ioannis Kanellos, Joost Van de Weijer, Sally Tyler Hayes, Adrian Popescu
• Jury : Rapporteurs / Rapporteuses : Ioannis Kanellos, Joost Van de Weijer

Mots clés

Mots clés contrôlés

Apprentissage profond

Stratégie

Apprentissage automatique

Mots clés libres

Apprentissage Automatique

Image

Apprentissage profond

Apprentissage Continuel

Machine Learning

Image

Deep Learning

Continual Learning

Résumé

Cette thèse explore les défis et les stratégies associés à l'apprentissage incrémental de classe (CIL), une branche de l'apprentissage automatique qui se concentre sur l'intégration efficace de nouvelles classes dans les modèles existants. Le travail aborde les principales difficultés, y compris l'oubli catastrophique et le compromis entre la stabilité et la plasticité, en particulier dans les scénarios où les données sur les classes passées ne sont pas stockables. Un certain nombre de méthodes innovantes sont proposées, allant de la gestion stratégique de la distribution des paramètres du modèle à la création d'un générateur de pseudo-caractéristiques pour un meilleur équilibre entre stabilité et plasticité. L'étude fournit également une analyse expérimentale approfondie des divers facteurs influençant les performances du CIL, tels que les stratégies d'entrainements initiaux, la sélection de l'architecture neuronale et le choix de l'algorithme du CIL. La recherche aboutit à la fourniture de lignes directrices pratiques pour un apprentissage incrémental efficace afin de faciliter l'application du CIL dans le monde réel. En résumé, cette thèse apporte significativement des idées et des méthodes au domaine de l'apprentissage automatique, en favorisant une meilleure compréhension et une meilleure utilisation de l'apprentissage incrémental par classe.

This thesis explores the challenges and strategies associated with Class-Incremental Learning (CIL), a branch of machine learning that focuses on the efficient integration of new classes into existing models. The work addresses key difficulties, including catastrophic forgetting and the trade-off between stability and plasticity, especially in scenarios where past class data is not storable. A number of innovative methods are proposed, ranging from strategic management of the model parameter distribution to the creation of a pseudo-feature generator for improved stability-plasticity balance. The study also provides a thorough experimental analysis of various factors influencing CIL performance, such as initial training strategies, neural architecture selection, and CIL algorithm choice. The research culminates in the provision of practical guidelines for effective incremental learning to facilitate the real-world application of CIL. In summary, the thesis contributes significant insights and methods to the field of machine learning, fostering a better understanding and use of Class-Incremental Learning.