Une approche Markovienne à la sémantique distributionnelle

A Markovian approach to distributional semantics

• Auteur / Autrice : Edouard Grave
• Direction : Francis Bach, Guillaume Obozinski
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 20/01/2014
• Etablissement(s) : Paris 6
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris (1992-...)
• Partenaire(s) de recherche : Laboratoire : École normale supérieure (Paris ; 1985-....). Département d'informatique
• Jury : Examinateurs / Examinatrices : David Meir Blei, François Yvon, Patrick Gallinari, Benoît Sagot

Mots clés

Mots clés contrôlés

Traitement automatique du langage naturel

Grammaire de dépendance

Markov, Processus de

Mots clés libres

Sémantique distributionnelle

Modèle de Markov caché

Arbre de dépendance

Représentation de mots

Sélection de variables

Trace Lasso

Distributional semantics

Hidden Markov model

Trace Lasso

Résumé

Cette thèse, organisée en deux parties indépendantes, a pour objet la sémantique distributionnelle et la sélection de variables. Dans la première partie, nous introduisons une nouvelle méthode pour l'apprentissage de représentations de mots à partir de grandes quantités de texte brut. Cette méthode repose sur un modèle probabiliste de la phrase, utilisant modèle de Markov caché et arbre de dépendance. Nous présentons un algorithme efficace pour réaliser l'inférence et l'apprentissage dans un tel modèle, fondé sur l'algorithme EM en ligne et la propagation de message approchée. Nous évaluons les modèles obtenus sur des taches intrinsèques, telles que prédire des jugements de similarité humains ou catégoriser des mots et deux taches extrinsèques~: la reconnaissance d'entités nommées et l'étiquetage en supersens. Dans la seconde partie, nous introduisons, dans le contexte des modèles linéaires, une nouvelle pénalité pour la sélection de variables en présence de prédicteurs fortement corrélés. Cette pénalité, appelée trace Lasso, utilise la norm trace des prédicteurs sélectionnés, qui est une relaxation convexe de leur rang, comme critère de complexité. Le trace Lasso interpole les normes ℓ 1 et ℓ 2. En particulier, lorsque tous les prédicteurs sont orthogonaux, il est égal à la norme ℓ 1, tandis que lorsque tous les prédicteurs sont égaux, il est égal à la norme ℓ 2. Nous proposons deux algorithmes pour calculer la solution du problème de régression aux moindres carrés régularisé par le trace Lasso et réalisons des expériences sur des données synthétiques.

This thesis, which is organized in two independent parts, presents work on distributional semantics and on variable selection. In the first part, we introduce a new method for learning good word representations using large quantities of unlabeled sentences. The method is based on a probabilistic model of sentence, using a hidden Markov model and a syntactic dependency tree. The latent variables, which correspond to the nodes of the dependency tree, aim at capturing the meanings of the words. We develop an efficient algorithm to perform inference and learning in those models, based on online EM and approximate message passing. We then evaluate our models on intrinsic tasks such as predicting human similarity judgements or word categorization, and on two extrinsic tasks: named entity recognition and supersense tagging. In the second part, we introduce, in the context of linear models, a new penalty function to perform variable selection in the case of highly correlated predictors. This penalty, called the trace Lasso, uses the trace norm of the selected predictors, which is a convex surrogate of their rank, as the criterion of model complexity. The trace Lasso interpolates between the ℓ 1-norm and ℓ 2-norm. In particular, it is equal to the ℓ 1-norm if all predictors are orthogonal and to the ℓ 2-norm if all predictors are equal. We propose two algorithms to compute the solution of least-squares regression regularized by the trace Lasso, and perform experiments on synthetic datasets to illustrate the behavior of the trace Lasso.