Apprentissage incrémental semi-supervisé pour les applications de vision artificielle

Semi-supervised class incremental learning for computer vision

• Auteur / Autrice : Alexis Lechat
• Direction : Frédéric Jurie
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 23/12/2021
• Etablissement(s) : Normandie
• Ecole(s) doctorale(s) : École doctorale mathématiques, information et ingénierie des systèmes (Caen)
• Partenaire(s) de recherche : Laboratoire : Groupe de recherche en informatique, image, automatique et instrumentation de Caen (1995-....)
• Partenaire(s) de recherche : établissement de préparation : Université de Caen Normandie (1971-....)
• Jury : Président / Présidente : David Filliat
• Jury : Examinateurs / Examinatrices : Frédéric Jurie, Mathilde Mougeot, Michel Crucianu, Stéphane Herbin, Sylvaine Picard
• Jury : Rapporteur / Rapporteuse : Mathilde Mougeot, Michel Crucianu

Mots clés

Mots clés contrôlés

Classification automatique

Questions et réponses, Systèmes de

Reconnaissance d'objets (informatique)

Apprentissage supervisé (intelligence artificielle)

Apprentissage automatique

Mots clés libres

Apprentissage continu

Apprentissage des représentations

Apprentissage semi-supervisé

Questions-réponses visuelles

Classification multi-label

Continual learning

Representation learning

Semi-supervised learning

Object recognition

Visual question answering

Multi-label classification

Résumé

L'apprentissage incrémental propose un nouveau paradigme d'apprentissage pour les réseaux de neurones artificiels. Il vise à développer des systèmes capables d'enrichir leurs connaissances et leurs compétences après la phase d'entraînement initiale. Ce schéma d'entraînement est particulièrement intéressant pour des applications liées à un domaine de connaissances évolutif ou très étendu. Pour qu'une solution soit adaptée à l'apprentissage incrémental, le modèle doit remplir deux conditions : être capable d'apprendre la nouveauté et retenir ce qui a été précédemment appris, i.e. prévenir l'oubli catastrophique des acquis. Ce deuxième point est une problématique majeure des réseaux de neurones artificiels. L'ajout de nouvelles connaissances en incrémental vient écraser les précédentes. Au cours de cette thèse, nous proposons de traiter l'apprentissage continu du point de vue du domaine de l'apprentissage des représentations. En supposant l'existence de données non-annotées accessibles par le modèle pendant l'apprentissage, nous proposons des approches incrémentales semi-supervisées. Nous montrons qu'exploiter des données annexes permet de régulariser le modèle pendant le processus incrémental. Via la semi-supervision, les modèles proposés exploitent les représentations améliorées pour faciliter l'apprentissage de la nouveauté, mais aussi pour stabiliser les poids face à l'oubli catastrophique.

Incremental learning introduces a new learning paradigm for artificial neural networks. It aims at developing systems capable of enriching their knowledge and skills after the initial training phase. This learning scheme is particularly interesting for applications related to an evolving or very large knowledge domain. For a solution to be suitable for incremental learning, the model must fulfill two conditions: it must be able to learn novelty and retain what has been previously learned, i.e. prevent catastrophic forgetting. This second point is the major issue inherent to artificial neural networks. The addition of new knowledge in an incremental way overwrites the one currently stored un the model. In this thesis, we propose to tackle continuous learning from the point of view of the representation learning field. Assuming the existence of unlabeled data accessible by the model during training, we propose semi-supervised incremental approaches. We show that exploiting ancillary data allows to regularize the model during the incremental process. Via semi-supervision, the proposed models exploit the improved representations to facilitate learning the novelty, but also to stabilize the weights against catastrophic forgetting.