Learning to represent and generate text using information measures
Auteur / Autrice : | Pierre Colombo |
Direction : | Chloé Clavel, Giovanna Varni |
Type : | Thèse de doctorat |
Discipline(s) : | Signal, images, automatique et robotique |
Date : | Soutenance le 17/11/2021 |
Etablissement(s) : | Institut polytechnique de Paris |
Ecole(s) doctorale(s) : | École doctorale de l'Institut polytechnique de Paris |
Partenaire(s) de recherche : | Etablissement opérateur d'inscription : Télécom Paris (Palaiseau, Essonne ; 1878-....) |
Laboratoire : Laboratoire Traitement et communication de l'information (Paris ; 2003-....) | |
Jury : | Président / Présidente : Pierre Zweigenbaum |
Examinateurs / Examinatrices : Chloé Clavel, Giovanna Varni, Pierre Zweigenbaum, Claire Gardent, Alexandre Allauzen, Loïc Barrault, Jackie Chi Kit Cheung, Juan Pablo Piantanida | |
Rapporteur / Rapporteuse : Claire Gardent, Alexandre Allauzen |
Mots clés
Résumé
Le traitement du langage naturel (NLP) permet de traiter et de générer automatiquement du langage naturel. Le NLP a récemment fait l'objet d'un intérêt croissant de la part de l'industrie et des chercheurs, car l'apprentissage profond (AD) a permis d'exploiter la quantité stupéfiante de données textuelles disponibles (e.g web, youtube, médias sociaux) et d'atteindre des performances similaires à celles de l'homme dans plusieurs tâches (e.g traduction, classification de textes). La théorie de l'information (TI) et l'apprentissage profond constituent un partenariat de longue date. En effet, l'informatique a favorisé l'adoption des réseaux neuronaux profonds grâce à des principes célèbres tels que la longueur minimale de description (LMD), le goulot d'étranglement de l'information (GIO) ou le célèbre principe InfoMax. Dans tous ces principes, différentes mesures de l'information (e.g entropie, MI, divergences) sont l'un des concepts fondamentaux. Dans cette thèse, nous abordons l'interaction entre le NLP et les mesures d'information. Nos contributions se concentrent sur deux types de problèmes PNL : la compréhension du langage naturel (NLU) et la génération du langage naturel (NLG). L'objectif de la NLU est de comprendre et d'extraire automatiquement des informations sémantiques d'un texte d'entrée, tandis que la NLG vise à produire un langage naturel à la fois bien formé (c'est-à-dire grammaticalement correct, cohérent) et informatif. La construction d’agents conversationnels parlés est un défi et le traitement des données conversationnelles parlées reste un problème difficile et négligé. Ainsi, nos premières contributions sont tournées vers l’UAL et nous nous concentrons sur l’apprentissage de représentations de transcriptions. Notre contribution se concentre sur l’apprentissage de meilleures représentations de transcriptions qui incluent deux caractéristiques importantes des conversations humaines parlées : la dimension conversationnelle et la dimension multimodale. Pour ce faire, nous nous appuyons sur diverses mesures d’information et nous tirons parti du principe de maximisation de l’information mutuelle. Le deuxième groupe de contributions aborde les problèmes liés au NLG. Cette thèse se concentre spécifiquement sur deux problèmes centraux. Premièrement, nous proposons une nouvelle limite supérieure de l’information mutuelle pour aborder le problème de la génération contrôlée via l’apprentissage de la représentation démêlée (transfert de style i.e et génération de phrases conditionnelles). Deuxièmement, nous abordons le problème de l’évaluation automatique des textes générés en développant une nouvelle famille de métriques utilisant diverses mesures d’information.