Séparation de sources et transformation audio par synthèse neuronale profonde et hybride

Music source separation and transformation by hybrid deep neural synthesis

• Auteur / Autrice : Bernardo Torres
• Direction : Gaël Richard, Geoffroy Peeters
• Type : Projet de thèse
• Discipline(s) : Informatique, données, IA
• Date : Inscription en doctorat le 01/02/2023
• Etablissement(s) : Institut polytechnique de Paris
• Ecole(s) doctorale(s) : École doctorale de l'Institut polytechnique de Paris
• Partenaire(s) de recherche : Laboratoire : Laboratoire Traitement et communication de l'information (Paris ; 2003-....)
• Partenaire(s) de recherche : Equipe de recherche : S2A - Statistique et Apprentissage

Mots clés

Mots clés libres

Apprentissage profond

Traitement du signal

Transformation audio

Modèles génératifs

Deep Learning

Signal Processing

Audio transformation

Generative models

Résumé

Cette thèse se concentre sur la recherche de la combinaison d'approches génératives et d'apprentissage profond hybride pour la transformation et la séparation audio. L'approche générative apporte la capacité de générer de nouveaux échantillons de données à partir de leur modèle, tandis que l'apprentissage profond hybride permet de coupler le traitement du signal avec l'apprentissage profond pour une meilleure efficacité et interprétabilité. L'objectif de la séparation et de la transformation des sources musicales peut alors être envisagé à travers un paradigme basé sur la synthèse (au lieu du filtrage), dans lequel chaque source est un modèle génératif appris distinct. Chaque source peut être modifiée indépendamment pour effectuer une transformation audio. Une autre direction importante pour la thèse est la recherche de nouvelles métriques sonores pour quantifier les caractéristiques perceptuelles telles que la fidélité du timbre, l'identifiabilité du chanteur ou la conformité de l'harmonie.

This thesis focuses on researching the combination of generative approaches and hybrid deep learning for audio transformation and separation. The former brings the capacity to generate new data samples from their model, while the latter couples signal processing with deep learning for better efficiency and interpretability. The goal of music source separation and transformation can then be viewed through a paradigm based on synthesis (instead of filtering), in which each source is a separate learned generative model. Each source might be modified independently to perform audio transformation. Another important direction for the thesis is the research of new sound metrics to quantify perceptual characteristics such as timbre fidelity, singer identifiability or harmony compliance.