Apprentissage auto-supervisé informé de représentations du signal de parole

Informed Speech Self-supervised Representation Learning

• Auteur / Autrice : Mohamed Salah Zaiem
• Direction : Slim Essid, Titouan Parcollet
• Type : Thèse de doctorat
• Discipline(s) : Signal, images, automatique et robotique
• Date : Soutenance le 25/03/2024
• Etablissement(s) : Institut polytechnique de Paris
• Ecole(s) doctorale(s) : École doctorale de l'Institut polytechnique de Paris
• Partenaire(s) de recherche : Laboratoire : Laboratoire Traitement et communication de l'information (Paris ; 2003-....) - Laboratoire de Traitement et Communication de l'Information
• Partenaire(s) de recherche : Etablissement opérateur d'inscription : Télécom Paris (Palaiseau, Essonne ; 1878-....)
• Jury : Président / Présidente : Emmanuel Vincent
• Jury : Examinateurs / Examinatrices : Emmanuel Vincent, Anthony Larcher, Hung-yi Lee, Shinji Watanabe, Karen Livescu, Hervé Bredin
• Jury : Rapporteur / Rapporteuse : Anthony Larcher, Hung-yi Lee

Mots clés

Mots clés contrôlés

Apprentissage profond

Apprentissage supervisé (intelligence artificielle)

Traitement automatique de la parole

Mots clés libres

Traitement de la parole

Apprentissage profond

Apprentissage auto-Supervisé

Speech processing

Deep Learning

Self-Supervised learning

Résumé

L'apprentissage des caractéristiques a été un des principaux moteurs des progrès de l'apprentissage automatique. L'apprentissage auto-supervisé est apparu dans ce contexte, permettant le traitement de données non étiquetées en vue d'une meilleure performance sur des tâches faiblement étiquetées. La première partie de mon travail de doctorat vise à motiver les choix dans les pipelines d'apprentissage auto-supervisé de la parole qui apprennent les représentations non supervisées. Dans cette thèse, je montre d'abord comment une fonction basée sur l'indépendance conditionnelle peut être utilisée pour sélectionner efficacement et de manière optimale des tâches de pré-entraînement adaptées à la meilleure performance sur une tâche cible. La deuxième partie de mon travail de doctorat étudie l'évaluation et l'utilisation de représentations auto-supervisées pré-entraînées. J'y explore d'abord la robustesse des benchmarks actuels d'auto-supervision de la parole aux changements dans les choix de modélisation en aval. Je propose, ensuite, de nouvelles approches d'entraînement en aval favorisant l'efficacité et la généralisation.

Feature learning has been driving machine learning advancement with the recently proposed methods getting progressively rid of handcrafted parts within the transformations from inputs to desired labels. Self-supervised learning has emerged within this context, allowing the processing of unlabeled data towards better performance on low-labeled tasks. The first part of my doctoral work is aimed towards motivating the choices in the speech selfsupervised pipelines learning the unsupervised representations. In this thesis, I first show how conditional-independence-based scoring can be used to efficiently and optimally select pretraining tasks tailored for the best performance on a target task. The second part of my doctoral work studies the evaluation and usage of pretrained self-supervised representations. I explore, first, the robustness of current speech self-supervision benchmarks to changes in the downstream modeling choices. I propose, second, fine-tuning approaches for better efficicency and generalization.