Supervised learning with output embeddings : contributions to learning with a handful of data and to structured prediction

Apprentissage supervisé à partir de redescription des variables cibles : application à l'apprentissage à partir d'un nombre limité d'exemples et à la prédiction structurée

• Auteur / Autrice : Mousâab Djerrab
• Direction : Florence d' Alché-Buc
• Type : Thèse de doctorat
• Discipline(s) : Informatique mathématique
• Date : Soutenance le 18/12/2019
• Etablissement(s) : Université Paris-Saclay (ComUE)
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Traitement et communication de l'information (Paris ; 2003-....)
• Partenaire(s) de recherche : Etablissement opérateur d'inscription : Télécom Paris (Palaiseau ; 1977-....)
• Jury : Président / Présidente : Stephan Clémençon
• Jury : Examinateurs / Examinatrices : Stephan Clémençon, Paul Honeine, Pierre Geurts, Arthur Tenenhaus, Juho Rouso
• Jury : Rapporteurs / Rapporteuses : Paul Honeine, Pierre Geurts

Mots clés

Mots clés contrôlés

Apprentissage automatique

Mots clés libres

Apprentissage statistique

Prédiction structurée

Régression d'intégration de Fisher

Noyau

Zero-Shot learning

Few-Shot learning

Statistical learning

Structured prediction

Fisher embedding regression

Kernel

Zero-Shot learning

Few-Shot learning

Résumé

La prédiction de variables de sortie non-vectorielles, suscite beaucoup d’intérêt en apprentissage statistique. Elle soulève principalement deux difficultés : la prise en compte de la structure explicite ou implicite de ces variables afin de faciliter la phase d’apprentissage, et le manque de données étiquetées, du fait du très grand nombre de valeurs que peuvent prendre ces variables et du coût de l’annotation. Pour résoudre le premier point, comme le deuxième, nous considérons dans cette thèse l’utilisation d’une fonction de redescription des sorties qui permet de plonger celles-ci dans un espace vectoriel tout en tenant compte de leur structure inhérente. Le problème d’apprentissage associé à ces redescriptions de sorties se traduit alors par la minimisation d’une fonction de coût surrogée, tandis que le calcul d’une prédiction dans l’ensemble de sorties originel requiert un calcul d’antécédent. Dans cette thèse, nous proposons une famille de fonctions de redescription des sorties, fondées sur le score de Fisher, basées sur un modèle probabiliste. Dans la première partie de nos travaux, nous définissons et étudions des fonctions de redescription de Fisher associées à différents modèles probabilistes. Nous montrons que cette représentation, en tenant compte de la géométrie de la distribution empirique des données de sortie, offre un codage pertinent pour un large spectre de problématiques de prédiction. Nous l’appliquons à la classification multi-classe en la composant avec une redescription sémantique des classes et à des problèmes de prédiction structurée. Nous montrons également que pour les modèles probabilistes considérés, le problème de l’antécédent peut se résoudre analytiquement, permettant ainsi de réduire le coût du calcul de la prédiction en phase de test. Enfin, nous montrons que cette approche permet d’obtenir de bons résultats lorsque le nombre de données par classe est limité (few-shot learning) ou que l’annotation est faible (weakly supervised learning). La seconde partie de cette thèse s’attache à étendre le cadre développé dans la première partie. Cette fois-ci, la distribution de sortie est estimée de façon simultanée lors de la phase d’apprentissage. Le but étant d’offrir un degré de liberté supplémentaire pour trouver le bon paramétrage de la fonction de redescription dans un contexte de donnée faible. Aussi nous ouvrons ce cadre au distribution non paramétrique en passant du score de Fisher au score match, permettant d’approximer une classe plus large de distribution. Une étude du lien entre les deux représentations est aussi proposée afin de mieux comprendre ce changement. Dans la troisième partie de la thèse, nous nous attachons à traiter la problématique multi-classe dans le contexte de l’apprentissage dit ”zero-shot learning”. Il s’agit de construire un classifieur capable de classer des données dont l’étiquette. Il s'agit de construire un classifieur capable de classer des données dont l'étiquette n'a jamais été vue lors de la phase d'apprentissage. Nous commençons par définir un cadre d'analyse pour ces approches en proposant un cadre d'étude unifié pour les méthodes de zéro-shot learning utilisant des espaces de représentations intermédiaires des sorties. Ensuite, Nous étudions différentes stratégies exploitant la redescription de Fisher à partir de ces représentations sémantiques et montrons comment cette fonction de redescription permet d’améliorer les performances prédictives pour les problèmes de Zero-Shot Learning (ZSL) et sa version généralisée (GZSL). Pour ce dernier, la fonction de redescription permet de construire naturellement un critère de détection de nouvelles classes à prédire. Grâce à ce critère nous montrons que le problème de pollution concomitant à la tâche de GZSL est atténué.

The prediction of non-vector output variables has gained interest in statistical learning field for a decade. This task mainly raises two difficulties: taking into account the explicit or implicit structure of these variables in order to facilitate the learning phase and the test phase ; the lack of labeled data, because of the very large number of values that can take these variables and the cost of the annotation. In order to tackle both issues, we consider in this thesis the use of embedding functions for outputs which makes it possible to plunge them in a vector space while taking into account their inherent structure. The associated learning problem results in the minimization of a surrogate loss function. Meanwhile the final prediction in the set of original outputs requires solving a pre-image problem. In this thesis, we propose a family of output embedding functions, resting on the Fisher score, calculated on a probabilistic model. In the first part of our work, we define and study the Fisher embedding associated with different parametric distributions. We apply this representation to multi-class classification, by composing it with semantic embedding of classes, and structured prediction problems. Given this embedding, we also propose a closed-form solution for the considered probabilistic models. Thereby, we reduce computation costs of the prediction in the test phase. Finally, we show that this approach provides good results when the number of data per label is limited (few-shot learning) or when the labeling process is weak (weakly supervised learning). The second part of this thesis focuses on extending the framework developed in the first part. This time, the output distribution is estimated jointly with the minimization of the surrogate problem. The goal is to make more room so as to seek for a better parametrization of the embedding function in a context of few-shot. Hence, we broaden the set of distribution usable in our original framework. To do so we replace Fisher score functions by score match function, while assessing the nature of the bond between both representations. In the third part of the thesis, we focus on the multi-class problem in the context of Zero-Shot learning. The goal here is to learn to classify, at testing time, data from labels unseen at training time. Zero-Shot learning methods are usually based on a semantic embedding of classes and the learning of a score function whose pre-image solution is sought to predict the class. We start with defining a rigorous framework analysis of these approaches while presenting a unified study framework for Zero-Shot learning methods using spaces of intermediate representations of outputs. Then, we study different strategies exploiting the Fisher embedding and show how it improves the accuracy on Zero-Shot Learning (ZSL) problems and its generalized version (GZSL). For the latter, the Fisher embedding makes it possible to naturally build a criterion for novelty-detection. By doing so we mitigate the problem of pollution concomitant with the task of GZSL.