Traitement de textes longs par apprentissage profond

Long texts processing using deep learning

• Auteur / Autrice : Eve Sauvage
• Direction : Cyril Grouin
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 02/10/2023
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire interdisciplinaire des sciences du numérique (Orsay, Essonne ; 2021-....)
• Partenaire(s) de recherche : Equipe de recherche : SEME
• Partenaire(s) de recherche : Référent : Université Paris-Saclay. Faculté des sciences d’Orsay (Essonne ; 2020-....)

Mots clés

Mots clés libres

Résumé automatique

Génération de texte

Apprentissage Profond

Traitement Automatique des Langues

Text generation

Automatic summarization

Deep Learning

Natural Language Processing

Résumé

Les modèles d'Intelligence Artificielle pour les données textuelles et orales ont connu des avancées techniques importantes depuis la création de l'architecture « Transformer » en 2017 (Vaswani et al., 2017), un réseau de neurones profond. Plusieurs cas d'usages de ces modèles ont été explorés à EDF R&D, comme le résumé automatique de document, et la génération de texte pour la complétion automatique d'e-mails. Grâce à leur « mécanisme d'attention », ces modèles montrent de très bonnes performances. Ce mécanisme comporte toutefois des limites : il demande des ressources en mémoire matérielle importantes, et ne peut traiter des textes très longs. Cela a pour conséquence (i) une consommation d'énergie importante, (ii) des données textuelles qui ne sont pas pleinement exploitées, car les textes doivent être tronqués lorsqu'ils sont trop longs avant d'être passés au modèle. Plusieurs travaux de recherche traitent ce problème, et ont proposé des approches permettant de traiter des textes plus longs. Ces modèles sont rangés sous la catégorie des « Efficient Transformer », et un benchmark spécifique leur est consacré (Tay et al., 2020). Toutefois, la longueur du texte traité demeure limitée à ce jour. L'objectif de la thèse est de proposer une solution pour lever cette limite. La personne recrutée devra : - établir un état de l'art sur les réseaux de neurones profonds de type « Efficient Transformer » et sur les méthodes d'extraction d'information et sur les méthodes d'évaluation de la performance des modèles d'IA pour le résumé automatique de document et la génération automatique de texte. - concevoir et développer une solution, définir ou identifier des métriques d'évaluation. - mener des expérimentations sur : des cas métiers en Traitement Automatique du Langage Naturel (TALN) sur lesquels des livrables ont déjà été réalisés à EDF R&D via des modèles Transformer (résumé automatique, génération automatique de texte) ; une tâche hors TALN pour tester la généricité du modèle (exemple : prédiction de la consommation électrique). En complément de données métier, des données open source pourront également être utilisées à des fins de comparaison pour des publications scientifiques.

Artificial Intelligence models for text and speech data have seen significant technical advances since the creation of the 'Transformer' architecture in 2017 (Vaswani et al., 2017), a deep neural network. Several use cases for these models have been explored at EDF R&D, such as automatic document summarization, and text generation for automatic email completion. Thanks to their 'attention mechanism', these models show very good performances. However, this mechanism has some limitations: it requires significant hardware memory resources, and cannot handle very long texts. This results in (i) high energy consumption, (ii) textual data that are not fully exploited, since texts must be truncated when they are too long before being passed to the model. Several research works address this problem, and have proposed approaches to handle longer texts. These models are classified as 'Efficient Transformers', and a specific benchmark is dedicated to them (Tay et al., 2020). However, the length of the text processed remains limited to date. The objective of this thesis is to propose a solution to overcome this limitation. The recruited person will : - establish a state of the art on deep neural networks of the 'Efficient Transformer' type and on methods for information extraction and on methods for evaluating the performance of AI models for automatic document summarization and automatic text generation - design and develop a solution, define or identify evaluation metrics. - conduct experiments on: business cases in Natural Language Processing (NLP) on which deliverables have already been produced at EDF R&D via Transformer models (automatic summarization, automatic text generation); a task outside NLP to test the robustness of the model (e.g.: prediction of electricity consumption). In addition to business data, open source data can also be used for comparison purposes for scientific publications.