Amélioration des méthodes d’apprentissage de représentations de mots pour des calculs de similarités sémantiques efficaces

Improving methods to learn word representations for efficient semantic similarites computations

• Auteur / Autrice : Julien Tissier
• Direction : Christophe Gravier, Amaury Habrard
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 04/05/2020
• Etablissement(s) : Lyon
• Ecole(s) doctorale(s) : École doctorale Sciences Ingénierie Santé (Saint-Etienne)
• Partenaire(s) de recherche : Equipe de recherche : Laboratoire Hubert Curien (Saint-Etienne ; 1995-....)
• Partenaire(s) de recherche : établissement opérateur d'inscription : Université Jean Monnet (Saint-Étienne ; 1969-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Hubert Curien (Saint-Etienne ; 1995-....)
• Jury : Président / Présidente : Élisa Fromont
• Jury : Examinateurs / Examinatrices : Élisa Fromont, Laure Soulier
• Jury : Rapporteurs / Rapporteuses : Massih-Reza Amini, Julien Velcin

Mots clés

Mots clés contrôlés

Langages de programmation -- Sémantique

Algorithmes

Traitement automatique du langage naturel

Mots clés libres

Représentations de mots

Vecteurs binaires

Représentations sémantiques

Word embeddings

Word representations

Binary vectors

Semantic representation

Résumé

De nombreuses applications en traitement du langage naturel (TALN) reposent sur les représentations de mots, ou “word embeddings”. Ces représentations doivent capturer à la fois de l’information syntaxique et sémantique pour donner des bonnes performances dans les tâches en aval qui les utilisent. Cependant, les méthodes courantes pour les apprendre utilisent des textes génériques comme Wikipédia qui ne contiennent pas d’information sémantique précise. De plus, un espace mémoire important est requis pour pouvoir les sauvegarder car le nombre de représentations de mots à apprendre peut être de l’ordre du million. Le sujet de ma thèse est de développer de nouveaux algorithmes pour améliorer l’information sémantique dans les word embeddings tout en réduisant leur taille en mémoire lors de leur utilisation dans des tâches en aval de TALN.La première partie de mes travaux améliore l’information sémantique contenue dans les word embeddings. J’ai développé dict2vec, un modèle qui utilise l’information des dictionnaires linguistiques lors de l’apprentissage des word embeddings. Les word embeddings appris par dict2vec obtiennent des scores supérieurs d’environ 15% par rapport à ceux appris avec d’autres méthodes sur des tâches de similarités sémantiques de mots. La seconde partie de mes travaux consiste à réduire la taille mémoire des word embeddings. J’ai développé une architecture basée sur un auto-encodeur pour transformer des word embeddings à valeurs réelles en vecteurs binaires, réduisant leur taille mémoire de 97% avec seulement une baisse de précision d’environ 2% dans des tâches de TALN en aval.

Many natural language processing applications rely on word representations (also called word embeddings) to achieve state-of-the-art results. These numerical representations of the language should encode both syntactic and semantic information to perform well in downstream tasks. However, common models (word2vec, GloVe) use generic corpus like Wikipedia to learn them and they therefore lack specific semantic information. Moreover it requires a large memory space to store them because the number of representations to save can be in the order of a million. The topic of my thesis is to develop new learning algorithms to both improve the semantic information encoded within the representations while making them requiring less memory space for storage and their application in NLP tasks.The first part of my work is to improve the semantic information contained in word embeddings. I developed dict2vec, a model that uses additional information from online lexical dictionaries when learning word representations. The dict2vec word embeddings perform ∼15% better against the embeddings learned by other models on word semantic similarity tasks. The second part of my work is to reduce the memory size of the embeddings. I developed an architecture based on an autoencoder to transform commonly used real-valued embeddings into binary embeddings, reducing their size in memory by 97% with only a loss of ∼2% in accuracy in downstream NLP tasks.