Développement d’un dispositif de substitution sensorielle vision-vers-audition : étude des performances de localisation et comparaison de schémas d’encodage

Development of a visual-to-auditory sensory substitution device : study of localization performance and comparison of encoding schemes

• Auteur / Autrice : Camille Bordeau
• Direction : Emmanuel Bigand, Maxime Ambard
• Type : Thèse de doctorat
• Discipline(s) : Psychologie
• Date : Soutenance le 18/12/2023
• Etablissement(s) : Bourgogne Franche-Comté
• Ecole(s) doctorale(s) : École doctorale Environnements, Santé (Dijon ; Besançon ; 2012-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'Etude de l'Apprentissage et du Développement (LEAD) (Dijon ; 1989-....)
• Partenaire(s) de recherche : établissement de préparation : Université de Bourgogne (1970-2024)
• Jury : Président / Présidente : Daniel Pressnitzer
• Jury : Examinateurs / Examinatrices : Emmanuel Bigand, Maxime Ambard, Christian Graff, Malika Auvray, Cyrille Migniot
• Jury : Rapporteurs / Rapporteuses : Daniel Pressnitzer, Christian Graff

Mots clés

Mots clés contrôlés

Troubles de la vision

Perception auditive

Perception visuelle

Traitement du signal

Réalité virtuelle

Données sensorielles

Troubles de la vision

Troubles de la perception

Perception auditive

Perception visuelle

Mots clés libres

Substitution sensorielle

Perception spatiale auditive

Environnement virtuel

Analyse de scènes auditives

Localisation auditive

Déficience visuelle

Sensory substitution

Auditory spatial perception

Virtual environment

Auditory scene analysis

Auditory localization

Visual impairment

Résumé

Les dispositifs de substitution sensorielle vision-vers-audition convertissent des informations visuelles en un paysage sonore dans le but de permettre de percevoir l’environnement à travers la modalité auditive lorsque la modalité visuelle est altérée. Ils constituent une solution prometteuse pour améliorer l’autonomie des personnes déficientes visuelles lors de leurs déplacements pédestres. Ce travail de thèse avait pour objectif principal de déterminer et d’évaluer un schéma d’encodage pour la substitution sensorielle permettant la perception spatiale 3-dimensionnelle en proposant des protocoles de familiarisation et d’évaluation dans des environnements virtuels plus ou moins complexes. Le premier objectif était de déterminer si la reproduction d’indices acoustiques pour la perception spatiale auditive était plus efficace que l’utilisation d’autres indices acoustiques impliqués dans des interactions audio-visuelles. La première étude a mis en évidence que la modulation de la hauteur tonale dans le schéma d’encodage permettait de compenser en partie les limites perceptives de la spatialisation pour la dimension de l’élévation. La deuxième étude a mis en évidence que la modification de l’enveloppe sonore pouvait permettre de compenser la perception compressée de la distance. Le deuxième objectif de ce travail de thèse était de déterminer dans quelle mesure le schéma d’encodage utilisé préservait les capacités de perception spatiale dans un environnement complexe composé de plusieurs objets. La troisième étude a mis en évidence que les capacités de ségrégation d'une scène visuelle complexe à travers le paysage sonore associé dépendaient de la signature spectrale spécifique des objets la composant lorsque la modulation de la hauteur tonale est utilisée comme indice acoustique dans le schéma d'encodage. Les travaux de cette thèse ont des implications pratiques pour l’amélioration des dispositifs de substitution concernant, d’une part, la possibilité de compenser les limites perceptives spatiales avec des indices acoustiques non-spatiaux dans le schéma d’encodage, et d’une autre part, la nécessité de réduire le flux d’informations auditives pour préserver les capacités de ségrégation du paysage sonore. Les protocoles de familiarisation et d’évaluation en environnement virtuel ayant été développés de sorte à être adaptés à la population déficiente visuelle, les travaux de cette thèse soulignent le potentiel des environnements virtuels pour évaluer précisément les capacités d’utilisation de dispositifs de substitution dans un contexte contrôlé et sécurisé.

Visual-to-auditory sensory substitution devices convert visual information into soundscapes for the purpose of allowing the perception of the environment with the auditory modality when the visual modality is impaired. They constitute a promising solution for improving the autonomy of visually impaired people when traveling on foot. The main objective of this thesis work was to determine an encoding scheme for sensory substitution allowing 3-dimensional spatial perception by proposing familiarization and evaluation protocols in virtual environments with different complexities. The first aim was to determine whether the reproduction of acoustic cues for auditory spatial perception was more effective than the use of acoustic cues involved in audio-visual interactions. The first study demonstrated that the modulation of pitch in the encoding scheme could partly compensate for the perceptual limits of spatialization for the dimension of elevation. The second study showed that the modification of the sound envelope could partly compensate for the compressed perception of distance. The second objective was to determine to what extent the determined encoding scheme preserved spatial perception abilities in a complex environment where several objects were present. The third study demonstrated that the segregation capabilities of a complex visual scene through the soundscape depend on the specific spectral signature of the objects composing it when pitch modulation is used as an acoustic cue in the encoding scheme. The work of this thesis has practical implications for the improvement of substitution devices concerning, on the one hand, the possibility of compensating spatial perceptual limits with non-spatial acoustic cues in the encoding scheme, and on the other hand, the need to reduce the amount of auditory information to preserve the segregation abilities of the soundscape. The familiarization and evaluation protocols in a virtual environment having been developed to be adapted to the visually impaired population, the work of this thesis highlights the potential of virtual environments to precisely evaluate the abilities to use sensory substitution devices in a secure context.