Décomposition de scènes sonores ambisoniques pour navigation en six degrés de liberté

Higher order ambisonic sound scenes decomposition for six degree of freedom navigation

• Auteur / Autrice : Mohammed Hafsati
• Direction : Rémi Gribonval, Nicolas Epain
• Type : Thèse de doctorat
• Discipline(s) : Signal, image, vision
• Date : Soutenance le 23/11/2020
• Etablissement(s) : Rennes 1
• Ecole(s) doctorale(s) : MATHSTIC
• Partenaire(s) de recherche : Laboratoire : Institut de recherche en informatique et systèmes aléatoires (Rennes) - PANAMA

Mots clés

Mots clés contrôlés

Séparation de sources (traitement du signal)

Mots clés libres

Audio 3D

Ambisonic

HOA

Navigation en six degrés de liberté

Séparation de sources sonore

3D audio

Ambisonics

HOA

Spherical microphone array

Navigation with six degrees of freedom

Résumé

Cette thèse s’inscrit dans le contexte multimédia dont le sujet technique est la navigation dans des champs sonores 3D. Contrairement aux contenus de réalité virtuelle, notre application vise les contenus issus de captations réelles. Nous utilisons l’ambisonique comme technologie d’audio 3D. Le problème d’utiliser ce genre de représentation de champ sonore réside dans la difficulté d’avoir 6 degrés de liberté, avec la possibilité de changer de point de vue. Afin de contourner ce problème, nous recommandons de faire une décomposition du format ambisonique en ondes planes. Cela a été déjà proposé dans plusieurs contributions dans l’état de l’art en utilisant des techniques de formation de voies en pleine bande. La particularité d’une de nos méthodes est d’utiliser des techniques de séparations de sources sonores multicanaux, avec laquelle nous cherchons les contributions de chaque source dans chaque canal ambisonique. Cela n’a jamais été utilisé auparavant pour faire de la navigation dans des contenus ambisoniques. Dans cette thèse, nous proposons différentes manières pour faire la séparation de source multicanaux dans le domaine ambisonique.

This Ph.D. thesis focuses on the problem of navigating with 6DoF in the 3D sound fields that are acquired from a live recording. We use ambisonic as a 3D sound technology. The problem with ambisonics is the difficulty in changing the point of view. Indeed, If ever a sound field is recorded and represented in the ambisonic domain, the representation of the entire sound field is given at the recording position. In order to simulate a movement from a point to another, the point of view must be changed. To respond to the problem, we recommend decomposing the ambisonic sound field into plane waves. This has already been proposed by several approaches in state of the art. However, the particularity of one of our methods is to use multi-channel sound source separation by looking for the contribution of each source in each channel. This has never been proposed before to navigate in ambisonic sound field. In this thesis, we propose several approaches to apply multichannel sound source separation in the ambisonic domain.