Étude de son 3D pour une interaction audio-visuelle en environnement virtuel enrichi

Study of 3D sound for an audio-visual interaction in enriched virtual environment

• Auteur / Autrice : Erik Vladimir Ortega Gonzàlez
• Direction : Frédéric Merienne, Samir Garbaya
• Type : Thèse de doctorat
• Discipline(s) : Informatique et traitement du signal
• Date : Soutenance en 2011
• Etablissement(s) : Paris, ENSAM
• Ecole(s) doctorale(s) : École doctorale Sciences des métiers de l'ingénieur (Paris)

Mots clés

Mots clés contrôlés

Réalité virtuelle

Sons

Acoustique

Résumé

La plupart des applications qui intègrent le son 3D en environnement virtuel sont limitées à la simulation acoustique. L'objectif de cette thèse est d'étudier l'apport du son 3D dans l'interaction en environnement virtuel. Nous avons développé une technique de stimulation sonore appelée: Sensation Artificielle Spatialisée Auditive (SASA), basée sur la création d'effets sonores. Cette technique restitue des sensations de spatialisation de son permettant la localisation précise (en azimut et en élévation) de sources sonores. Afin d'améliorer le temps de localisation de sources sonores, nous avons développé un modèle qui intègre la fonction HRTF (Head-Related Transfer Function) avec la technique SASA. Pour simuler la profondeur de sources sonores, nous avons développé une technique basée sur la combinaison entre l'indice d'intensité et les différences interaurales de temps. Les techniques développées dans le cadre de cette thèse ont été utilisées pour le guidage auditif afin de fournir des informations spatiales en azimut, en élévation et en profondeur. Nous avons appliqué cette technique dans la simulation chirurgicale pour assister l'opérateur dans la phase de triangulation. Nous avons validé cette approche en termes de performance de manipulation et du retour d'informations de l'utilisateur. Les résultats obtenus des travaux de cette thèse sont prometteurs pour l'utilisation de son 3D dans l'interaction en environnement virtuel

Most of the applications integrating 3D sound in virtual environment are limited to acoustic simulation. The objective of this thesis is to study the added value of 3D sound in the interaction with virtual environment. We developed an audio stimulation technique called "Artificial Spatial Audio Sensation: (ASAS)" based on the creation of audio effects. This technique conveys the sensations of spatialized sound that allows accurate sound source localization in azimuth and in elevation. In order to improve the localization time we also developed a model that integrates Head-Related Transfer Function (HRTF) with the ASAS technique. For the simulation of the depth of spatial sound sources, we developed a technique based on a combined model that integrates the intensity cue and the interaural time differences. The techniques developed in this thesis were applied for audio cueing in order to convey accurate spatial information in azimuth, elevation and depth. The combined model was applied in surgical simulation to assist the operator in the execution of the triangulation gesture. We conducted an experimental validation of this approach in terms of the criteria of manipulation performance and user's appreciation. The results obtained in this research are promising for the use of 3D sound to enrich the interaction in virtual environment.