La perception de la distance sonore de sources statiques dans le contexte de la réalité augmentée audio : une étude d'indices acoustiques et non-acoustiques

Auditory distance perception of static sources in the context of Audio-only Augmented Reality : an investigation of acoustic and non-acoustic cues

• Auteur / Autrice : Vincent Martin
• Direction : Isabelle Viaud-Delmon, Olivier Warusfel
• Type : Thèse de doctorat
• Discipline(s) : Sciences cognitives
• Date : Soutenance le 03/03/2022
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Cerveau, cognition, comportement (Paris)
• Partenaire(s) de recherche : Laboratoire : Sciences et technologies de la musique et du son (Paris ; 1983-....)
• Jury : Président / Présidente : Quentin Grimal
• Jury : Examinateurs / Examinatrices : Etienne Hendrickx
• Jury : Rapporteurs / Rapporteuses : Nicolas Grimault, Norbert Kopčo

Mots clés

Mots clés contrôlés

Acoustique

Perception auditive

Réalité augmentée

Mots clés libres

Réalité augmentée

Audio

Perception

Distance

Spatialisation

Acoustique

Cognitif

Audio-only Augmented Reality

Perception

Distance

Résumé

Cette thèse vise à étudier une variété de facteurs liant la perception de la distance de sources sonores virtuelles au contexte de la réalité augmentée audio (RAA). Elle se consacre à la manière dont ce contexte perceptif spécifique impose des contraintes sur la conception de méthodes de rendu de distance utilisée pour générer des sources sonores virtuelles. La RAA fait référence à un ensemble de technologies qui visent à intégrer un contenu audio généré par ordinateur dans l'environnement acoustique d'un utilisateur. Les systèmes RAA ont des exigences fondamentales : un système audio doit permettre une intégration transparente d’événements sonores virtuels dans l'environnement de l'utilisateur. Différents enjeux découlent de ces exigences critiques. La première partie de la thèse se concentre sur l’importance de la reproduction des indices acoustiques dans la perception de la distance de sources sonores virtuelles dans le contexte de la RAA. Nous avons aussi examiné quelles stratégies de pondération des indices acoustiques sont utilisées par le système auditif pour créer la perception d’une distance sonore. En considérant différentes segmentations spatiales et temporelles, nous avons tenté de caractériser comment l'énergie précoce est perçue en relation avec la réverbération. La deuxième partie de la thèse se concentre sur la façon dont des indices liés à l'environnement pourraient avoir un impact sur la perception de sources sonores virtuelles. Dans les applications de RAA, la géométrie de l'environnement n'est pas toujours complètement prise en compte. En particulier, l'effet de calibration induit par la perception de l'environnement visuel sur la perception auditive est généralement négligé. Nous nous sommes aussi intéressés au cas où des sources sonores réelles co-occurrentes dont l'emplacement est inconnu de l'utilisateur pourraient affecter la perception de la distance de sources sonores virtuelles via un effet de calibrage intra-modal.

This thesis aims to investigate a variety of effects linking the auditory distance perception of virtual sound sources to the context of audio-only augmented reality (AAR) applications. It focuses on how its specific perceptual context and primary objectives impose constraints on the design of the distance rendering approach used to generate virtual sound sources for AAR applications. AAR refers to a set of technologies that aim to merge computer-generated auditory content into a user's acoustic environment. AAR systems have fundamental requirements as an audio playback system must enable a seamless integration of virtual sound events within the user's environment. Different challenges arise from these critical requirements. The first part of the thesis concerns the critical role of acoustic cue reproduction in the auditory distance perception of virtual sound sources in the context of audio-only augmented reality. Auditory distance perception is based on a range of cues categorized as acoustic, and cognitive. We examined which strategies for weighting auditory cues are used by the auditory system to create the perception of sound distance. By considering different spatial and temporal segmentations, we attempted to characterize how early energy is perceived in relation to reverberation. The second part of the thesis's motivations focuses on how, in AAR applications, environment-related cues could impact the perception of virtual sound sources. In AAR applications, the geometry of the environment is not always completely considered. In particular, the calibration effect induced by the perception of the visual environment on the auditory perception is generally overlooked. We also became interested in the instance in which co-occurring real sound sources whose placements are unknown to the user could affect the auditory distance perception of virtual sound sources through an intra-modal calibration effect.