Auralisations sérieuses

Serious auralizations

• Auteur / Autrice : Barteld Postma
• Direction : Brian F.G. Katz
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 28/04/2017
• Etablissement(s) : Université Paris-Saclay (ComUE)
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique pour la mécanique et les sciences de l'ingénieur (Orsay, Essonne ; 1972-2020)
• Partenaire(s) de recherche : établissement opérateur d'inscription : Université Paris-Sud (1970-2019)
• Jury : Président / Présidente : Michel Beaudouin-Lafon
• Jury : Examinateurs / Examinatrices : Brian F.G. Katz, Michel Beaudouin-Lafon, Stefan Weinzierl, Damian Murphy, Jean-Marie Normand, Patrick Bourdot
• Jury : Rapporteurs / Rapporteuses : Stefan Weinzierl, Damian Murphy

Mots clés

Mots clés contrôlés

Acoustique architecturale

Visualisation

Réalité virtuelle

Mots clés libres

Réalité virtuelle

Auralisations

Visualisations

Acoustique archéologique

Calibration

Direction de la voix

Multi-modalité

Virtual reality

Auralizations

Visualizations

Archaeological acoustics

Calibration

Voice directivity

Multi-modality

Résumé

Au cours des dernières décennies, la présence des auralisations dans l’acoustique architecturale et la réalité virtuelle est devenue de plus en plus importante. De nombreuses applications en découlent, telles que les explorations de la réalité virtuelle multimodale ou les études de l’influence acoustique des rénovations et la recherche historique. Malgré ces nombreux cas d’utilisation, peu d’études scientifiques ont été réalisées sur le sujet. L’objectif de cette thèse était donc d’examiner l’utilisation d’auralisations acoustiques de salles, basées sur l’acoustique géométrique (GA) comme outil scientifique et visant à aider à la création d’auralisations historiquement exactes plus écologiquement valables. Déjà dans les années 1930 les premières tentatives ont été entreprises pour rendre audible (de manière imaginaire) les champs sonores. Les développements au cours des 80 dernières années ont conduit à des améliorations significatives des auralisations. Aujourd’hui, si l’on veut créer des auralisations, l’enregistrement anéchoïque réalisé préalablement doit être convolué avec une réponse impulsionnelle ambiante, mesurée ou simulée (RIR). Les logiciels GA sont souvent utilisés pour calculer numériquement la RIR de géométries compliquées. Les méthodes basées sur les ondes sont gourmandes en calcul, nécessitant des modèles géométriques complexes et des données d’entrée complexes. Cette thèse vise à améliorer la qualité des auralisations entièrement calculées. À cette fin, on a étudié l’étalonnage des modèles acoustiques des salles et l’inclusion de la directivité vocale dynamique. Des mesures acoustiques de la pièce ont été réalisées dans quatre salles et des modèles d’acoustique géométrique ont été créés des mêmes espaces. Une procédure méthodique de calibration du modèle a été proposée, réalisée dans les quatre salles, et validée au préalable par comparaison d’estimation de paramètres. Des tests d’écoute subjectifs comparant des auralisations mesurée set simulées pour trois espaces différents ont révélé que les auralisations étaient également perçues pour huit attributs acoustiques évalués. Par la suite, un cadre permettant d’inclure la directivité vocale dynamique a été présenté. Les résultats des tests d’écoute ont montré des différences perceptuelles entre la directivité vocale dynamique et la directivité de source statique pour la plausibilité, l’enveloppement de l’auralisation ainsi que la largeur perçue de la source. L’amélioration de la validité écologique des auralisations a permis d’étudier l’influence des visualisations sur l’expérience acoustique, avec un degré de confiance raisonnable que les effets perçus sont également applicables dans des situations réelles. À cet effet, un cadre a été établi qui a permis des évaluations multimodales de pièces de théâtre et de concerts. Les résultats d’un test d’écoute multi-modal présentant une scène cohérente visuelle-sonore ont confirmé les différences perceptuelles entre les auralisations de directivité vocale dynamique et statique. Dans ce même cadre, un second test d’écoute comparant des scènes visuelles/sonores incohérentes è cohérentes, indiquait qu’avec une distance source-récepteur accrue, les auralisations sont perçues acoustiquement plus éloignées et plus élevée.

Over recent decades, auralizations have become more prevalent in architectural acoustics and virtual reality. Auralizations have numerous use-cases such as multi-modal virtual reality explorations, studies of the acoustical influence of renovations, and historic research. Despite their numerous use-cases, they rarely have been part of scientific studies. Therefore, the goal of this thesis was to examine the use of room acoustical auralizations based on geometrical acoustics (GA) as a scientific tool and aimed to aid in the creation of more ecologically valid historically accurate auralizations. Already in the 1930s first attempts were undertaken to render audible (imaginary) sound fields. Developments over the last 80 years have led to significant improvements of auralizations. Today, if one wishes to create auralizations, generally anechoic recording need to be convolved with either a measured or simulated room impulse response (RIR). GA software are often employed to numerically compute the RIR of complicated geometries. Wave-based methods are computationally intensive, requiring complex geometrical models and complex input data. This thesis aims to enhance the quality of fully computed auralizations. For this purpose the calibration of room acoustical models and the inclusion of dynamic voice directivity were studied. Room acoustical measurements were carried out in four rooms and geometrical acoustics models were created of the same spaces. A methodical calibration procedure was proposed, carried out in the four rooms, and first validated by means of parameter estimation comparison. Subjective listening tests which compared measured and simulated auralizations for three spaces found that the auralizations were equally perceived for 8 tested acoustical attributes. Subsequently, a framework was presented which enabled the inclusion of dynamic voice directivity. The results of listening tests indicated that perceptual differences between dynamic voice directivity and regular static source ordinations in plausibility and envelopment of the auralization as well as perceived width of the source. With the improved ecological validity of the auralizations it was possible to study the influence of visualizations on the acoustical experience, with a reasonable degree of confidence that perceived effects are also applicable in real-life situations. For this purpose, a framework was established which enabled multi-model assessments of theater plays and concerts. Results of a visual-aural coherent multi-modal listening test confirmed the perceptual differences between dynamic and static voice directivity auralizations. A second listening test employing this framework which compared incoherent to coherent aural-visual cues indicated that with increased visual source-receiver distance auralizations are perceived acoustically more distant and louder.