Modèles et algorithmes de simplification automatique de textes

Models and algorithms for automatic text simplification

• Auteur / Autrice : El Mehdi Issouani
• Direction : Patrice Bertail
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques
• Date : Soutenance le 23/06/2023
• Etablissement(s) : Paris 10
• Ecole(s) doctorale(s) : École doctorale Connaissance, langage, modélisation (Nanterre, Hauts-de-Seine ; 1992-....)
• Partenaire(s) de recherche : Laboratoire : Modal'X (Nanterre). Université Paris Nanterre
• Jury : Président / Présidente : Antoine Chambaz
• Jury : Examinateurs / Examinatrices : Patrice Bertail, Antoine Chambaz, Amor Keziou, Estelle Kuhn, Delphine Battistelli, Marianne Clausel, Jean-François Pradat-Peyre
• Jury : Rapporteurs / Rapporteuses : Amor Keziou, Estelle Kuhn

Mots clés

Mots clés contrôlés

Analyse des données

Statistique linguistique

Statistique -- Informatique

Traitement automatique du langage naturel

Mots clés libres

Maximum d'entropie pénalisée

Vraisemblance empirique généralisée

Statistique de Hotelling T² en grande dimension

Réseaux de neurones

Matrice de covariance pénalisée et régularisée

Simplification du texte

Penalized maximum entropy

Generalized empirical likehood

Hotelling T² statistic in high dimension

Neural networks

Penalized and regularized covariance matrix

Text simplification

Résumé

Le but de la thèse est de contribuer aux méthodes de simplification automatique du texte. Plus précisément, il s’agit de construire des mesures de complexité (classifieur binaire de textes simples vs textes complexes) et de contribuer au développement de modèles de langage prédictif (comme ceux utilisés dans le désormais célèbre chatbot ChatGPT). Pour ce faire, nous nous sommes intéressés aux méthodes d’entropie utilisées en NLP (que nous réinterprétons en terme de vraisemblance empirique généralisée) et au comportement de la statistique de Hotelling en grande dimension. Cette statistique apparaı̂t naturellement dans ce type de problème et permet d’effectuer des tests de moyenne en grande dimension (c’est-à-dire lorsque la dimension des paramètres dépasse le nombre d’observations). Pour cela, nous proposons un estimateur pénalisé et un choix optimal pour le coefficient de pénalité. Nous discutons également brièvement des modèles de réseaux neuronaux dans le domaine du traitement automatique du langage naturel. Nous résumons ensuite les performances d'une série d'architectures d'apprentissage profond sur un corpus Wikipédia pour la construction d'une mesure de complexité et pour la simplification automatique de textes.L’objectif de ce projet transversal de mathématiques appliquées et de linguistique est d’apporter un éclairage aux problèmes de simplification automatique de texte, ce qui potentiellement pourrait à termes aider les personnes ayant une déficience auditive à faire face aux difficultés rencontrées. Les travaux sont situés dans des champs variés (statistique, linguistique, informatique) et revêt un caractère fortement pluridisciplinaire.

The goal of this thesis is to contribute to automatic text simplification methods. Specifically, the objective is to build complexity measures (binary classifier for simple vs. complex texts) and contribute to the development of predictive language models (similar to those used in the well-known chatbot ChatGPT). To achieve this, we focus on entropy methods used in NLP, which we reinterpret in terms of generalized empirical likelihood, and the behavior of Hotelling's statistic in high-dimensional settings. This statistic naturally arises in such problems and enables mean testing in high dimensions (when the dimension of the parameters exceeds the number of observations). For this, we propose a penalized estimator and an optimal choice for the penalty coefficient. We also briefly discuss neural network models in the NLP domain. Then we summarize the performance of a series of deep learning architectures on a Wikipedia corpus for the construction of a complexity measure and for automatic text simplification.This interdisciplinary project in applied mathematics and linguistics aims to shed light on automatic text simplification problems, potentially assisting individuals with hearing impairments in overcoming difficulties. The work cover various fields (statistics, linguistics, computer science) and possesses a highly multidisciplinary nature.