Amélioration des métriques d'évaluation pour les méthodes de résumé automatique

Automatic Evaluation of Text Summaries Correlated with Human Judgments

• Auteur / Autrice : Tanguy Herserant
• Direction : Vincent Guigue
• Type : Projet de thèse
• Discipline(s) : Sciences des réseaux, de l'information et de la communication
• Date : Inscription en doctorat le 15/03/2023
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Mathématiques et Informatique Appliquées (Palaiseau, Essonne)
• Partenaire(s) de recherche : Equipe de recherche : EKINOCS
• Partenaire(s) de recherche : Référent : Université Paris-Saclay. Faculté des sciences d’Orsay (Essonne ; 2020-....)

Mots clés

Mots clés libres

Métrique

Résumé

Texte

Traitement du langage

Apprentissage profond

Metric

Summarization

Text

Natural language processing

Deep learning

Résumé

Les limites des métriques historiques BLEU et ROUGE constituent un frein majeur à l'exploitation des technologies nouvelles centrées sur les modèles de langues dans le cadre de l'application du résumé automatique. Ce projet doit nous permettre de définir un cadre évaluatif fiable, notamment sur les textes francophones, afin de concevoir de nouvelles approches en résumé automatique, optimisant de nouveaux objectifs plus pertinents.

The limitations of the historical BLEU and ROUGE metrics are a major obstacle to the exploitation of new technologies centered on language models in the context of automatic summarization. This project should allow us to define a reliable evaluation framework, especially on French texts, in order to design new approaches in automatic summarization, optimizing new and more relevant objectives.