Modèle joint pour le traitement automatique de la langue : perspectives au travers des réseaux de neurones

Join model for NLP : a DNN framework

• Auteur / Autrice : Jérémie Tafforeau
• Direction : Frédéric Béchet, Thierry Artières
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques et informatique
• Date : Soutenance le 20/11/2017
• Etablissement(s) : Aix-Marseille
• Ecole(s) doctorale(s) : Ecole doctorale Mathématiques et Informatique de Marseille (Marseille ; 1994-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique fondamentale (Marseille) - Traitement Automatique du Langage Ecrit et Parlé (Marseille)
• Jury : Président / Présidente : Yannick Estève
• Jury : Examinateurs / Examinatrices : Benoît Favre, Christophe Cerisara
• Jury : Rapporteurs / Rapporteuses : Alexandre Allauzen, Philippe Langlais

Mots clés

Mots clés contrôlés

Réseaux neuronaux (informatique)

Apprentissage automatique

Sémantique

Syntaxe

Traitement automatique du langage naturel

Mots clés libres

Traitement de la Langue

Analyse syntaxique

Analyse sémantique

Apprentissage automatique

Réseaux de neurones profonds

Multitâche

Natural Language Processing

Syntactic & Semantic Parsing

Machine Learning

Deep Neural Networks

Multitask

Résumé

Les recherches en Traitement Automatique des Langues (TAL) ont identifié différents niveaux d'analyse lexicale, syntaxique et sémantique. Il en découle un découpage hiérarchique des différentes tâches à réaliser afin d'analyser un énoncé. Les systèmes classiques du TAL reposent sur des analyseurs indépendants disposés en cascade au sein de chaînes de traitement (pipelines). Cette approche présente un certain nombre de limitations : la dépendance des modèles à la sélection empirique des traits, le cumul des erreurs dans le pipeline et la sensibilité au changement de domaine. Ces limitations peuvent conduire à des pertes de performances particulièrement importantes lorsqu'il existe un décalage entre les conditions d'apprentissage des modèles et celles d'utilisation. Un tel décalage existe lors de l'analyse de transcriptions automatiques de parole spontanée comme par exemple les conversations téléphoniques enregistrées dans des centres d'appels. En effet l'analyse d'une langue non-canonique pour laquelle il existe peu de données d'apprentissage, la présence de disfluences et de constructions syntaxiques spécifiques à l'oral ainsi que la présence d'erreurs de reconnaissance dans les transcriptions automatiques mènent à une détérioration importante des performances des systèmes d'analyse. C'est dans ce cadre que se déroule cette thèse, en visant à mettre au point des systèmes d'analyse à la fois robustes et flexibles permettant de dépasser les limitations des systèmes actuels à l'aide de modèles issus de l'apprentissage par réseaux de neurones profonds.

NLP researchers has identified different levels of linguistic analysis. This lead to a hierarchical division of the various tasks performed in order to analyze a text statement. The traditional approach considers task-specific models which are subsequently arranged in cascade within processing chains (pipelines). This approach has a number of limitations: the empirical selection of models features, the errors accumulation in the pipeline and the lack of robusteness to domain changes. These limitations lead to particularly high performance losses in the case of non-canonical language with limited data available such as transcriptions of conversations over phone. Disfluencies and speech-specific syntactic schemes, as well as transcription errors in automatic speech recognition systems, lead to a significant drop of performances. It is therefore necessary to develop robust and flexible systems. We intend to perform a syntactic and semantic analysis using a deep neural network multitask model while taking into account the variations of domain and/or language registers within the data.