Contributions à l'évaluation des modèles de langage

An evaluation framework for language models

• Auteur / Autrice : Pierre Alain
• Direction : Olivier Boëffard
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance en 2007
• Etablissement(s) : Rennes 1

Mots clés

Mots clés contrôlés

Markov, Processus de

Traitement automatique du langage naturel

Résumé

Ces travaux portent sur l'évaluation des modèles de langages en dehors de toute tâche applicative. Le problème d'une étude comparative entre plusieurs modèles est généralement lié à la fonction dans un système complet. Notre objectif consiste au contraire à s'abstraire au maximum des contraintes liées au système, et ainsi pourvoir comparer effectivement les modèles. Le critère le plus couramment admis pour une comparaison de modèles de langage est la perplexité. Ces travaux reprennent les hypothèses du jeu de Shannon, de manière à poser un cadre d'évaluation des modèles de langage fondée sur leur capacité de prédiction. La méthodologie s'intéresse à la prédiction conjointe de mots, et reste indépendante de toute tâche applicative, de la nature du modèle, ainsi que du nombre de paramètres de ce modèle. Des expériences sont menées sur la modélisation du français et de l'anglais à partir de vocabulaires de taille variable, et différents modèles sont mis en concurrence.

This work deals with the evaluation of language models independently of any applicative task. A comparative study between several language models is generally related to the role that a model has into a complete system. Our objective consists in being independant of the applicative system, and thus to provide a true comparison of language models. Perplexity is a widely used criterion as to comparing language models without any task assumptions. However, the main drawback is that perplexity supposes probability distributions and hence cannot compare heterogeneous models. As an evaluation framework, we went back to the definition of the Shannon's game which is based on model prediction performance using rank based statistics. Our methodology is able to predict joint word sequences that are independent of the task or model assumptions. Experiments are carried out on French and English modeling with large vocabularies, and compare different kinds of language models.