Machine learning pour l'inpainting acoustique en réalité augmentée : renforcer l'immersion sonore

Machine Learning for Acoustical In-Painting in AR: Enhancing Immersive Audio Realism

• Auteur / Autrice : Anthony Gallien
• Direction : Nicolas Obin
• Type : Projet de thèse
• Discipline(s) : Sciences de l'ingénieur
• Date : Inscription en doctorat le 03/11/2025
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris
• Partenaire(s) de recherche : Laboratoire : Sciences et technologies de la musique et du son
• Partenaire(s) de recherche : Equipe de recherche : Espaces acoustiques et cognitifs

Mots clés

Mots clés libres

Apprentissage machine

Audio spatialisé

Réalité augmentée

Réverbération artificielle

Acoustique

Machine learning

Spatial audio

Augmented reality

Artificial reverberation

Acoustics

Résumé

Ce projet de thèse a pour objectif d'améliorer le réalisme audio dans les environnements de réalité augmentée et mixte (AR/XR), en développant de nouvelles méthodes de synthèse acoustique basées sur l'apprentissage automatique. L'objectif central est de permettre une auralisation cohérente de sources sonores virtuelles, afin de créer un espace acoustique partagé où sons réels et virtuels coexistent de manière naturelle. Cette auralisation repose sur des informations environnementales partielles, telles que le signal vocal capté par les microphones embarqués dans les dispositifs AR. Dans ce contexte, la modélisation acoustique est essentielle, mais reste limitée par la difficulté d'acquérir des réponses impulsionnelles de salle (RIR), indispensables pour simuler de manière réaliste la propagation du son. Pour capturer les dimensions spatiales de cette propagation, on utilise des réponses impulsionnelles spatiales (SRIR), qui fournissent des informations directionnelles, temporelles et spectrales sur le champ acoustique. Les méthodes de simulation utilisées actuellement dans ce type de recherche, principalement basées sur des simulations géométriques, produisent des SRIR synthétiques souvent éloignées des mesures réelles, ce qui nuit à la performance des modèles de machine learning (ML) lorsqu'ils sont appliqués à des environnements réels. Ce projet propose de dépasser ces limitations en développant une méthode avancée de synthèse paramétrique de SRIR, s'appuyant sur des descripteurs acoustiques pertinents (réflexions précoces, densité d'échos, cohérence spatiale, décroissance directionnelle, bruit ambiant, etc.) Cette approche vise à produire de grandes bases de données synthétiques plus proches des conditions réelles, et ainsi à améliorer la robustesse et la généralisabilité des modèles ML. La recherche s'organise autour de quatre axes principaux : (1) Synthèse acoustique avancée : développement de réverbérateurs paramétriques capables de modéliser avec précision les différentes phases de la réverbération (réflexions précoces, phase de transition, réverbération diffuse), en respectant les caractéristiques spectrales, spatiales et temporelles observées dans les SRIRs mesurées. (2) Évaluation de la plausibilité : conception d'un réseau de neurones discriminateur pour évaluer le réalisme perceptif et statistique des SRIRs synthétisées, en les comparant à des enregistrements réels afin d'optimiser le processus de synthèse. (3) Inférence de paramètres acoustiques : mise en place d'un modèle d'inférence capable d'extraire automatiquement des paramètres acoustiques perceptifs à partir d'un simple enregistrement vocal, afin d'informer le réverbérateur et adapter dynamiquement l'auralisation des sources virtuelles. (4) In-painting acoustique aveugle : développement d'un modèle génératif à diffusion dans une architecture encodeur–décodeur, permettant de réintroduire automatiquement et en temps réel une réverbération réaliste sur des signaux secs, en fonction des conditions acoustiques perçues via les capteurs AR. Une attention particulière sera portée à l'évaluation croisée des performances des modèles d'inférence entraînés sur des bases de données simulées par modèle d'acoustique géométrique, mesurées et synthétiques issues de la méthode proposée, afin de valider empiriquement les apports du cadre développé dans des scénarios réalistes. La recherche s'articule autour de trois contributions principales : (1) la conception de techniques de synthèse améliorées pour modéliser perceptivement les premières réflexions, les zones de transition et la réverbération tardive ; (2) le développement d'un réseau neuronal discriminateur pour évaluer la plausibilité perceptuelle et statistique des SRIRs synthétisées ; et (3) la mise en œuvre d'un cadre d'in-painting acoustique aveugle, basé sur des modèles génératifs à diffusion, capable de réintroduire la réverbération dans des signaux audio secs en temps réel. Les modèles seront évalués à l'aide de descripteurs objectifs et de tâches d'inférence, assurant ainsi leur pertinence pour les applications audio immersives en réalité augmentée.

This PhD project aims to enhance audio realism in augmented and mixed reality (AR/XR) environments by developing new acoustic synthesis methods based on machine learning. The central objective is to enable coherent auralization of virtual sound sources, in order to create a shared acoustic space where real and virtual sounds coexist naturally. This auralization relies on partial environmental information, such as speech signal captured by microphones embedded in AR devices. In this context, acoustic modeling is essential but remains limited by the difficulty of acquiring room impulse responses (RIR), which are indispensable for realistically simulating sound propagation. To capture the spatial dimensions of this propagation, spatial room impulse responses (SRIR) are used, providing directional, temporal, and spectral information about the acoustic field. The simulation methods currently used in this field of research, mainly based on geometric simulations, generate synthetic SRIR that often deviate from real measurements, which weakens the performance of machine learning (ML) models when applied to real environments. This project proposes to overcome these limitations by developing an advanced parametric synthesis method for SRIR, leveraging relevant acoustic descriptors (early reflections, echo density, spatial coherence, directional decay, ambient noise, etc.). This approach aims to produce large synthetic databases closer to real conditions, thereby improving the robustness and generalizability of ML models. The research is structured around four main axes: (1) Advanced acoustic synthesis: development of parametric reverberators capable of accurately modeling the different phases of reverberation (early reflections, transition phase, diffuse reverberation), while preserving the spectral, spatial, and temporal characteristics observed in measured SRIR. (2) Plausibility evaluation: design of a discriminator neural network to assess the perceptual and statistical realism of synthesized SRIR, by comparing them with real recordings in order to optimize the synthesis process. (3) Inference of acoustic parameters: implementation of an inference model capable of automatically extracting perceptual acoustic parameters from a single speech recording, in order to inform the reverberator and dynamically adapt the auralization of virtual sources. (4) Blind acoustic in-painting: development of a diffusion-based generative model within an encoder–decoder architecture, enabling the automatic and real-time reintroduction of realistic reverberation onto dry signals, according to the acoustic conditions perceived through AR sensors. Special attention will be given to cross-evaluating the performance of inference models trained on databases simulated with geometric acoustics models, measured data, and synthetic data generated by the proposed method, in order to empirically validate the benefits of the developed framework in realistic scenarios.