Classification d’intentions de requêtes générées par utilisateurs en régime «few-shot» : Application aux agents conversationnels

Few-Shot Intent Classification in User-Generated Short Texts : Application to Conversational Agents

• Auteur / Autrice : Thomas Dopierre
• Direction : Christophe Gravier
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 26/11/2021
• Etablissement(s) : Lyon
• Ecole(s) doctorale(s) : École doctorale Sciences Ingénierie Santé (Saint-Etienne)
• Partenaire(s) de recherche : établissement opérateur d'inscription : Université Jean Monnet (Saint-Étienne ; 1969-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Hubert Curien (Saint-Etienne ; 1995-....)
• Jury : Président / Présidente : Frédérique Laforest
• Jury : Examinateurs / Examinatrices : Laure Soulier
• Jury : Rapporteur / Rapporteuse : Jian-Yun Nie, Sophie Rosset

Mots clés

Mots clés contrôlés

Intelligence artificielle

Systèmes experts (informatique)

Traitement automatique du langage naturel

Mots clés libres

Classification few-shot

Détection d'intention

Traitement automatique des langues

Classification d’intentions

Few-shot classification

Intent detection

Natural Language Processing (NLP)

Classification of intentions

Résumé

Pour classifier des intentions utilisateurs, une annotation rigoureuse doit être menée. Afin de palier au problème du manque de données annotées, nous avons recours au méthodes de classification ''few-shot''.Dans un premier temps, cette thèse se concentre sur une nouvelle comparaison des méthodes de classification ''few-shot''. Les méthodes étaient comparées avec des encodeurs de textes différents, ce qui amenait à une comparaison biaisée. Lorsqu'on équipe chaque méthode du même encodeur de phrase basé sur un transformer (BERT), des méthodes de classification few-shot plus anciennent reprennent le dessus.Ensuite, nous étudions le pseudo-labeling, c'est à dire l'attribution automatique des pseudo-labels à des données non annontées. Dans ce cadre, nous introduisons une nouvelle méthode de pseudo-labeling inspirée du clustering hiérarchique. Notre méthode, dépourvue de tout hyper-paramètre, sait ignorer les exemples non labelisés qui se trouveraient trop éloignés de la distribution connue. Nous démontrerons également qu'elle est complémentaire aux autres méthodes existantes.En guise de dernière contribution, nous introduisons ProtAugment, une architecture de méta-apprentissage pour le problème de détection d’intention. Cette nouvelle extension entraîne le modèle à retrouver la phrase originale sur la base des prototypes calculés à partir de paraphrases. Nous introduirons également notre propre méthode pour générer des paraphrases, et verrons que la façon dont sont générées ces paraphrases joue un rôle important.Tout le code utilisé pour exécuter les expériences présentées dans cette thèse est disponible sur mon compte github (https://github.com/tdopierre/).

To classify user intents, a rigorous annotation must be conducted. In order to overcome the problem of lack of annotated data, we use few-shot classification methods.In a first step, this thesis focuses on a new comparison of few-shot classification methods. The methods were compared with different text encoders, which led to a biased comparison. When each method is equipped with the same transform-based sentence encoder (BERT), older few-shot classification methods take over.Next, we study pseudo-labeling, i.e. the automatic assignment of pseudo-labels to unlabeled data. In this context, we introduce a new pseudo-labeling method inspired by hierarchical clustering. Our method does not use any hyper-parameter and knows how to ignore unlabeled examples that would be too far from the known distribution. We will also show that it is complementary to other existing methods.As a final contribution, we introduce ProtAugment, a meta-learning architecture for the intention detection problem. This new extension trains the model to retrieve the original sentence based on prototypes computed from paraphrases. We will also introduce our own method for generating paraphrases, and see that the way these paraphrases are generated plays an important role.All the code used to run the experiments presented in this thesis is available on my github account (https://github.com/tdopierre/).