Thèse soutenue

Approches neuronales pour le résumé abstractif de transcriptions de parole
FR  |  
EN
Accès à la thèse
Auteur / Autrice : Paul Tardy
Direction : Yannick EstèveDavid Janiszek
Type : Thèse de doctorat
Discipline(s) : Informatique
Date : Soutenance le 12/07/2021
Etablissement(s) : Le Mans
Ecole(s) doctorale(s) : École doctorale Mathématiques et sciences et technologies de l'information et de la communication (Rennes)
Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique de l'Université du Mans - Laboratoire d'Informatique de l'Université du Mans / LIUM
Jury : Président / Présidente : Sylvain Meignier
Examinateurs / Examinatrices : Yannick Estève, David Janiszek, Sylvain Meignier, Alexis Nasr
Rapporteurs / Rapporteuses : Sophie Rosset, Alexandre Allauzen

Résumé

FR  |  
EN

Nous étudions, dans cette thèse, l'application des approches neuronales d'apprentissage profond pour le résumé abstractif de transcription de parole dans le cadre de la génération de comptes rendus de réunions.Ce travail prend place dans un contexte où l'apprentissage profond est omniprésent dans le domaine du Traitement Automatique du Langage Naturel (TALN). En effet, les modèles neuronaux constituent désormais l'état de l'art sur différentes tâches de génération de texte telles que la traduction automatique et le résumé abstractif.Toutefois, l'application du résumé automatique pour la génération de comptes rendus de réunions en français reste très peu explorée. En effet, cette tâche souffre du manque de données disponibles du fait des difficultés à collecter et à annoter de telles données.Dans ce contexte, notre première contribution consiste en la constitution d'un jeu de données pour cette tâche en alignant des comptes rendus avec les transcriptions automatiques des enregistrements audio de la réunion.Nous proposons une méthodologie associant l'alignement automatique à l'alignement humain.Cette méthodologie nous permet de développer des modèles d'alignement automatique grâce à la constitution de jeux de données d'évaluation tout en facilitant la tâche aux annotateurs humains grâce à l'usage de pré-alignements automatiques.Ensuite, afin de s'abstraire des contraintes liées à l'annotation – même automatique – nous proposons un pré-entraînement auto-supervisé des modèles afin de tirer profit de grands ensembles de données non-alignées.De plus, nous introduisons le résumé inverse nous permettant de générer des données synthétiques et de former des paires d'entraînement à partir de comptes rendus non-alignés. Nous combinons enfin ces deux approches et montrons leur bonne synergie.Les travaux de cette thèse se concentrent sur l'approche abstractive du résumé automatique qui consiste à générer un résumé de toutes pièces, par opposition à l'approche extractive où des portions du document sont sélectionnées en tant que résumé.En effet, la rédaction de comptes rendus de réunion à partir de transcriptions automatiques nécessite de reformuler les propos, d'éventuellement les corriger ou de les réorganiser afin de passer d'un langage oral hasardeux à un langage écrit et bien structuré. Pour autant, même les modèles dits abstractifs présentent un biais d'extractivité consistant à trop copier des mots issus de la source.Afin de limiter ce biais, nous introduisons l'apprentissage explicite du taux de copie attendu au sein du résumé grâce à des tokens de contrôle.Enfin, nous clôturons ce travail de thèse par une évaluation humaine des comptes rendus automatiques. Cette évaluation nous permet notamment de porter un regard critique sur les performances de nos modèles ainsi que sur le cadre expérimental, notamment sur les métriques et les données utilisées lors de l'évaluation.