Corrections assistées par l'humain pour la diarisation incrementale de collection

Human assisted correction for speaker diarization of an incremental collection of documents

• Auteur / Autrice : Yevhenii Prokopalo
• Direction : Anthony Larcher, Loïc Barrault
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 20/10/2022
• Etablissement(s) : Le Mans
• Ecole(s) doctorale(s) : École doctorale Mathématiques et sciences et technologies de l'information et de la communication (Rennes)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique de l'Université du Mans - Laboratoire d'Informatique de l'Université du Mans / LIUM
• Jury : Président / Présidente : Sophie Rosset
• Jury : Examinateurs / Examinatrices : Hervé Bredin, Gaël Le Lan
• Jury : Rapporteur / Rapporteuse : Claude Barras, Corinne Fredouille

Mots clés

Mots clés contrôlés

Traitement automatique de la parole

Apprentissage supervisé (intelligence artificielle)

Apprentissage automatique

Mots clés libres

Apprentisage tout au long de la vie

Apprentisage actif

Diarisation de locuteurs

Diarisation incrementale de collection

Apprentisage actif en-ligne

Lifelong learning

Active learning

Speaker diarisation

Diarization of an incremental collection of documents

Online active learning

Résumé

Cette recherche vise à concevoir un système autonome de diarisation du locuteur capable de s'adapter et de s'auto-évaluer.L'objectif de cette recherche était d'appliquer le concept d'apprentissage tout au long de la vie assisté par l'homme à la tâchede diarisation du locuteur, également connue sous le nom de segmentation et regroupement des locuteurs. Plus précisément,ce travail vise à concevoir un moyen efficace d'interaction entre le système de diarisation automatique et un expert du domaine humain pour améliorer la qualité de la diarisation générée par un système automatique tout en limitant la chargede travail de l'expert du domaine humain. Ce manuscrit propose un point de vue alternatif sur la définition des systèmesintelligents d'apprentissage tout au long de la vie, un ensemble de données conçu pour l'évaluation des systèmes de diarisation de l'apprentissage tout au long de la vie et la métrique d'évaluation des systèmes assistés par l'humaine.La principale contribution de ce travail réside dans le développement des méthodes de diarisation within-show et cross-show assistées par l'humaine.

This research aims at designing an autonomous speaker diarization system able to adapt and evaluate itself. The goal of this research was to apply the concept of human-assisted lifelong learning to the speaker diarization task, also known as speaker segmentation and clustering. More specifically, this work aims at designing an efficientway of interaction between the automatic diarization system and a human domain expert to improve the quality ofdiarization generated by an automatic system while limiting the workload for the human domain expert. This manuscriptproposes an alternative point of view on the definition of the lifelong learning intelligent systems, a dataset designed for evaluation of the lifelong learning diarization systems and the metric for evaluation of human-assisted systems.The main contribution of this work lies in the development of the human-assisted within-show and cross-show diarization methods.