Séparation et déreverbération conjointe de locuteurs en mouvement

Joint separation and dereverberation of moving speakers

• Auteur / Autrice : Louis Lalay
• Direction : Roland Badeau
• Type : Projet de thèse
• Discipline(s) : Informatique, données, IA
• Date : Inscription en doctorat le 01/09/2023
• Etablissement(s) : Institut polytechnique de Paris
• Ecole(s) doctorale(s) : École doctorale de l'Institut polytechnique de Paris
• Partenaire(s) de recherche : Laboratoire : Laboratoire de Traitement et Communication de l'Information
• Partenaire(s) de recherche : Equipe de recherche : S2A - Statistique et Apprentissage

Mots clés

Mots clés libres

Traitement du signal audio

Deréverbération

Séparation de locuteurs

Adaptation de domaine

Audio signal processing

Dereverberation

Speech separation

Domain adaptation

Résumé

La séparation de locuteurs en mouvement est un problème de traitement du signal consistant à séparer chaque locuteur à partir d'un enregistrement mono ou multicanal contenant plusieurs locuteurs et/ou du bruit. Ce projet cherche à employer des modèles de réverbération hérités de propriétés acoustiques et statistiques entièrement explicables pour la séparation et la déreverbération conjointes de locuteurs en mouvement. Le premier modèle employé considère non pas la réponse impulsionnelle de salle comme étant la conséquence de tous les chemins acoustiques de la source vers les microphones, mais plutôt comme le résultat du chemin direct de toutes les sources images, qui peuvent être obtenues en symétrisant de manière itérative la source en fonction des murs de la salle. Dans ce contexte, le modèle de réverbération est purement paramétrique et l'utilisation d'un modèle décrivant proprement les réflexions précoces et la réverbération tardive du signal est au centre de ce sujet de thèse. De tels coefficients estimés par le modèle de réverbération pourraient alors être incorporés à des modèles de type ''weight prediction error'' pour ainsi effectuer conjointement la séparation et la déreverbération. Une autre direction de recherche consistera à adapter de tels modèles pour la séparation et la déreverbération conjointes au cas où les locuteurs sont en mouvement. Afin d'aborder ce problème, il est possible d'attribuer la dynamique des sources en deux étapes : on peut imaginer projeter les données audios dans un espace latent dépendant du temps et de plus petite dimension. Ce dernier décrirait en pratique des caractéristiques de haut niveau. Ensuite, en conditionnant l'espace latent au modèle de réverbération, il serait alors possible de ”débruiter” les variables latentes afin d'en extraire uniquement les composantes représentant les signaux anéchoïques recherchés pour chaque source. Ce procédé reviendrait alors par exemple à considérer un auto-encodeur variationnel dynamique (DVAE) conditionné, par le modèle de réverbération. Finalement, pour améliorer la qualité de déreverbération, il serait possible de considérer l'approche multimodale faisant usage de la vidéo combinée avec l'audio. Il peut être par exemple intéressant d'employer conjointement la vidéo et l'audio pour le débruitage avec des auto-encodeurs variationnels et des modèles antagonistes.

Speech separation of moving speakers is a signal processing problem consisting of separating each speaker from a single or multichannel recording containing several speakers and/or noise. This project aims to use reverberation models declined from fully explainable acoustic and statistical properties for the joint separation and dereverberation of moving speakers. The first model to be employed considers the room impulse response, not as the consequence of all the acoustic paths from the source to the microphones, but rather as the result of the direct path of all the image sources, which can be obtained by iteratively symmetrizing the source with respect to the walls of the room. In this context, the reverberation model is purely parametric and the use of a model that properly describes the early reflections and late reverberation of the signal is the focus of this thesis. Such coefficients estimated by the reverberation model could then be incorporated into ''weight prediction error'' type models to perform separation and dereverberation jointly. Another aspect of the project will be to adapt such models for joint separation and dereverberation to the case of moving speakers. In order to tackle this problem, it is possible to identify the source dynamics in two steps: project the audio data into a time-dependent latent space of smaller dimension - in practice, this would describe high-level characteristics. Then, by conditioning the latent space on the reverberation model, it would be possible to 'denoise' the latent variables in order to extract only the components representing the anechoic signals sought for each source. This process would then be equivalent to considering a dynamic variational autoencoder (DVAE) conditioned by the reverberation model. Finally, to improve the quality of de-noising, it would be possible to consider a multimodal approach using video combined with audio. For example, it might be interesting to use video and audio together for denoising using variational auto-encoders and antagonistic models.