Identification du locuteur par apprentissage profond en conditions réelles

Deep Learning-based Speaker Identification In Real Conditions

• Auteur / Autrice : Sandipana Dowerah
• Direction : Romain Serizel
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 30/05/2023
• Etablissement(s) : Université de Lorraine
• Ecole(s) doctorale(s) : École doctorale IAEM Lorraine - Informatique, Automatique, Électronique - Électrotechnique, Mathématiques de Lorraine (1992-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire lorrain de recherche en informatique et ses applications
• Jury : Président / Présidente : Frédéric Sur
• Jury : Examinateurs / Examinatrices : Romain Serizel, Sylvain Meignier, Sylvain Marchand, Denis Jouvet, Nancy Bertin
• Jury : Rapporteurs / Rapporteuses : Sylvain Meignier, Sylvain Marchand

Mots clés

Mots clés contrôlés

Traitement automatique de la parole

Identification des personnes

Empreintes vocales

Apprentissage profond

Mots clés libres

Apprentissage profond

Identification du locuteur

Traitement de la parole

Speaker verification

Deep learning

Speech processing

Résumé

Les applications telles que la vérification du locuteur sont devenues essentielles pour vérifier l'identité de l'utilisateur à partir de ses caractéristiques vocales pour des assistants personnels ou des services bancaires en ligne. Cependant, la vérification du locuteur avec une prise de son distante est constamment affectée par les bruits environnants qui peuvent considérablement déformer le signal vocal. De plus, les signaux vocaux sont réfléchis par divers objets dans la zone environnante, ce qui crée de la réverbération et dégrade encore plus la qualité du signal. Cette thèse explore les techniques de rehaussement de la parole à multicanal basées sur l'apprentissage profond pour améliorer les performances des systèmes de vérification de locuteur dans des conditions réelles. Le rehaussement de la parole multicanal vise à améliorer la qualité de la parole captée par plusieurs microphones. Elle est devenue cruciale pour de nombreux terminaux, qui sont flexibles et pratiques pour les applications vocales. Trois approches novatrices sont proposées pour améliorer la robustesse au bruit du système de vérification de locuteur. Tout d'abord, nous intégrons une architecture de réseau neuronal profond avec des techniques de traitement du signal pour le rehaussement de la parole en tant que prétraitement d'un système de vérification de locuteur basé sur les x-vecteurs. Nous examinons l'importance d'effectuer aussi un prétraitement pendant la phase d'enrôlement du locuteur, ce qui a été largement négligé dans la littérature. L'évaluation expérimentale montre que le prétraitement les performances de vérification de locuteur si les fichiers d'enrôlement sont traités de manière similaire à ceux de test,et si le test et l'enregistrement se font dans des plages de signal à bruit similaires. Nous proposons ensuite de mettre en œuvre des modèles de diffusion probabilistes basés sur des scores pour le rehaussement de parole multicanal en tant que front-end d'un système ECAPA-TDNN de vérification de locuteur. Nous mettons particulièrement l'accent sur les techniques de rehaussement de parole multicanal. Nous utilisons des approches de diffusion probabilistes pour calculer soit des masques temps-fréquence, soit des filtres multicanaux. Comme l'entraînement séparé du module de rehaussement de la parole introduit souvent des artefacts et des distorsions, cela entraine une inadéquation pour la vérification du locuteur. Nous proposons une optimisation conjointe pour pallier à ce problème. Nous avons étendu les approches mentionnées ci-dessus en optimisant conjointement les modèles de rehaussement de la parole et de vérification de locuteur avec ou sans prise en compte d'un critère de distillation de connaissances. Ce critère de distillation de connaissances minimise la distance entre les plongements de locuteur obtenus à partir du système proposé et ceux obtenus à partir de signaux de parole propres (non bruités), améliorant ainsi les performances du système de vérification de locuteur dans différentes conditions de bruit.

Smart applications like speaker verification have become essential in verifying the user'sidentity for availing of personal assistants or online banking services based on the user's voice characteristics. However, far-field or distant speaker verification is constantly affected by surrounding noises which can severely distort the speech signal. Moreover, speech signals propagating in long-range get reflected by various objects in the surrounding area, which creates reverberation and further degrades the signal quality. This PhD thesis explores deep learning-based multichannel speech enhancement techniques to improve the performance of speaker verification systems in real conditions. Multichannel speech enhancement aims to enhance distorted speech using multiple microphones. It has become crucial to many smart devices, which are flexible and convenient for speech applications. Three novel approaches are proposed to improve the robustness of speaker verification systems in noisy and reverberated conditions. Firstly, we integrate a deep neural network architecture with signal-processing techniques for speech enhancement as a pre-processing to an x-vector-based speaker verification system. We examine the importance of also using such pre-processing during the enrollment phase, which has been largely overlooked in the literature. Experimental evaluation shows that pre-processing improves speaker verification performance if the enrollment files are processed similarly to the test data and if the test and enrollment occur within similar signal-to-noise ranges. We then propose to implement novel score-based diffusion probabilistic models for multichannel speech enhancement as a front-end to an ECAPA-TDNN speaker verification system. Particular emphasis is put on multi-channel speech enhancement techniques. We compute the time-frequency masks and multichannel filters using diffusion probabilistic models. As individual training of the speech enhancement module often introduces certain artefacts and distortions, leading to mismatch problems. We propose joint optimization of both modules as it helps in retaining the information. We expanded the aforementioned approaches by jointly optimizing speech enhancement and speaker verification with and without knowledge distillation loss. The knowledge distillation loss minimizes the distance between the speaker embeddings obtained from the proposed system and those obtained clean speechsignals, further improving the performance of the speaker verification system on different noise conditions.