Transfert de représentations de caractéristiques entre les tâches et les domaines

Transferring feature representations across tasks and domains

• Auteur / Autrice : Ekaterina Iakovleva
• Direction : Karteek Alahari
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques et informatique
• Date : Soutenance le 07/12/2022
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale Mathématiques, sciences et technologies de l'information, informatique (Grenoble ; 1995-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Jean Kuntzmann (Grenoble ; 2007-....)
• Partenaire(s) de recherche : Equipe de recherche : Équipe-projet Apprentissage de modèles à partir de données massives (Montbonnot, Isère ; 2019-....)
• Jury : Président / Présidente : Massih-Reza Amini
• Jury : Examinateurs / Examinatrices : Matthieu Cord
• Jury : Rapporteur / Rapporteuse : Joost Van de Weijer, David Picard

Mots clés

Mots clés contrôlés

Apprentissage profond

Mots clés libres

Apprentissage profond

Deep learning

Meta-Learning

Multi-Domain learning

Few-Shot learning

Résumé

Année après année, le progrès de l’apprentissage profond permet de résoudre un nombre croissant de tâches difficiles, ainsi que de se fixer de nouveaux objectifs encore plus ambitieux. Un tel succès, cependant, se fait au prix d’exigences croissantes pour tous les aspects de l’apprentissage : les modèles à grande échelle, qui ont tendance à être les plus performants, nécessitent de grandes quantités de données, de mémoire, de ressources de calcul et de temps d’entraînement. Ça peut poser problème en pratique, en particulier sur des petits ensembles de données. Cela motive l’exploration des moyens de transférer les connaissances, c’est-à-dire la valorisation des modèles existants pour résoudre de nouvelles tâches.Ce problème de transfert de connaissances a ses propres défis, tels que le type de connaissances à transférer ou la disponibilité des données. Dans cette thèse, nous nous concentrons sur deux configurations de cette catégorie : l’apprentissage avec très peu de données et l’apprentissage multi-domaines. Les deux problèmes partagent la motivation d’apprendre un modèle qui pourrait se généraliser à la résolution du même type de tâche, par ex. classification d’images, sur un certain nombre de domaines différents.Notre première contribution explore la modélisation probabiliste pour l’apprentissage avec très peu de données, où le modèle vise à résoudre un large éventail de tâches de classification, chacune accompagnée d’une poignée d’exemples étiquetés. Une supervision limitée conduit à une forte incertitude sur les prédictions, qui peut naturellement être résolue par un cadre probabiliste. Nous traitons le classificateur spécifique à une tâche comme une variable latente et proposons un nouveau schéma d’inférence variationnelle amortie qui utilise un seul réseau pour prédire les paramètres de la distribution à la fois pour le prior et pour le postérieur approximé de la variable latente dans le modèle graphique considéré. Nous évaluons notre modèle sur plusieurs benchmarks de classification, et montrons qu’il peut obtenir des résultats compétitifs sur chacun d’eux. Nous démontrons également les avantages de la modélisation de l’incertitude en montrant qu’un ensemble échantillonné de classificateurs améliore légèrement les performances par rapport à la moyenne déduite du classificateur. Ce résultat ne peut être atteint par des modèles reposant sur des approximations de Monte Carlo, qui, selon nos expérimentations, ont tendance à sous-estimer la vraie variance.Notre deuxième contribution propose un nouveau type de modules d’adaptation pour la classification multi-domaine, qui considère un ensemble fixe de tâches de classification sur un nombre limité de domaines. Nous adoptons l’approche commune consistant à utiliser un extracteur de caractéristiques pré-formé comme réseau de base et à l’adapter à de nouveaux domaines à l’aide d’adaptateurs spécifiques au domaine appliqués à chaque couche convolutive de la base. Pour chaque canal de sortie, notre adaptateur de modulation multiplie chaque noyau dans le tenseur de poids convolutif avec son propre scalaire spécifique à la sortie. Cela se traduit par un ensemble de pondérations indépendantes des cartes de caractéristiques d’entrée, ce qui rend l’adaptation des caractéristiques résultante plus flexible par rapport aux approches précédentes. Pour réduire le budget des paramètres, nous factorisons notre adaptateur de modulation comme un produit des deux plus petites matrices. Nous évaluons notre modèle sur les deux benchmarks et montrons que les versions complètes et factorisées obtiennent des résultats de pointe. En plus de cela, nous fournissons les résultats de notre modèle sur une gamme de budgets de paramètres, ce qui est l’un des avantages de notre approche. Pour chaque budget de paramètre, les adaptateurs de modulation surpassent les concurrents qui n’offrent généralement qu’un seul réglage de budget de paramètre.

Year after year advances in deep learning allow to solve a rapidly increasing range of challenging tasks, as well as to set new, even more ambitious goals. Such a success, however, comes at a price of increasing requirements for all aspects of learning: large-scale models, which tend to perform best, require large quantities of data, memory, computational resources and time to be properly trained. This cannot always be achieved in practice, especially on smaller datasets, which promotes exploration of the ways to transfer knowledge, i.e. re-purposing existing state-of-the-art models to solving new tasks.This problem of transferring knowledge between tasks comes with its own challenges caused by different factors, such as the type of knowledge which needs to be transferred, or availability of data. In this thesis we focus on two setups from this category: few-shot learning and multi-domain learning. Both problems share the motivation to learn a model that would be able to generalise to solving the same type of task, e.g. image classification, on a number of different domains.Our first contribution explores probabilistic modeling for few-shot classification, where the model aims to solve a wide range of classification tasks, each accompanied with a handful of labeled examples. Limited supervision leads to high uncertainty about the predictions, which can be naturally tackled by probabilistic framework. We treat the task-specific classifier as a latent variable, and propose a novel amortised variational inference scheme which uses a single network to predict parameters of the distribution both for the prior and for the approximated posterior of the latent variable in the considered graphical model. The prior is conditioned on the support set of the task, while the approximated posterior is conditioned on the union of the support and query sets. Minimisation of the distance between these two distributions provides additional guidance from the support set during training, allowing us to exploit the disparity between the two sets of data. We evaluate our model on several few-shot classification benchmarks, and show that it can achieve competitive results on all of them. We also demonstrate the benefits of modeling uncertainty by showing that a sampled ensemble of classifiers slightly improves the performance compared to the inferred classifier mean. This result that cannot be achieved by models relying on Monte Carlo approximations, which, according to our experiments, tend to underestimate the true variance.Our second contribution proposes a novel type of adaptation modules for multi-domain classification, which considers a fixed set of classification tasks on a limited number of domains. We adopt the common approach of using a pre-trained feature extractor as a base network, and adjusting it to novel domains using domain-specific adapters applied to each convolutional layer in the base. For each output channel, our modulation adapter separately scales each kernel in the convolutional weight tensor with its own output-specific scalar. This results in a set of independent re-weightings of the input feature maps, which makes the resulting feature adaptation more flexible compared to previous approaches. To reduce the parameter budget, we factorise our modulation adapter as a product of the two smaller matrices. We evaluate our model one the two common multi-domain classification benchmarks, and show that both the full and the factorised versions achieve state-of-the-art results. In addition to that, we provide results of our model on a span of parameter budgets, which is one of the advantages of our approach. For each parameter budget, modulation adapters outperform the competitors which generally offer only a single budget setting.