The Doors of Cross-Modal perception: Vision and Audition

• Auteur / Autrice : David McCormick
• Direction : Pascal Mamassian
• Type : Thèse de doctorat
• Discipline(s) : Psychologie
• Date : Soutenance en 2008
• Etablissement(s) : Paris 5

Mots clés

Mots clés contrôlés

Saccades

Stimulation sensorielle

Résumé

L'étude de la perception pluri-modale s'intéresse par définition à la façon dont les différentes modalités sensorielles sont intégrées dans notre expérience pour former une représentation consciente, unifiée et cohérente. En allant au-delà des simulations unimodales qui prédominent traditionnellement, nous pouvons accéder à une plus grande compréhension du cerveau humain et de ses fonctions. Cette thèse traite en particulier de l'étude psychophysiologique de la perception intermodale audiovisuelle. Elle s'ouvre tout d'abord sur une introduction générale au sujet de recherche, suivie par une revue détaillée des recherches existantes. Les chapitres suivants résument mes travaux sur l'effet dit du ''flash illusoire'' (Shams et Al. 2000, Nature, 408, 788), dans lequel un flash présenté avec deux tonalités sonores à tendance à être perçu comme deux flashs. J'y aborde la question du biais de réponse comme explication de l'effet, et j'introduis une méthode destinée à mesurer le contraste perçu lors de l'illusion. Je présente ensuite une nouvelle technique permettant l'étude de l'impact d'un son sur la saillance perceptuelle d'un stimulus visuel tout en minimisant le biais de réponse potentiel en demandant aux observateurs une réponse sur une dimension orthogonale par rapport au Centre d'intérêt. Les derniers chapitres expérimentaux traitent des effets de la manipulation de la congruence spatiale entre des stimuli auditifs et visuels sur les mouvements occulaires, et plus particulièrement sur les points d'arrivée de saccades et le temps de réaction. Pour chaque thème d'expérimentation, une intégration multi-sensorielle de faible niveau et des influences cognitives de plus haut niveau ont été considérés lors de l'analyse des résultats. Cette thèse se clos sur une discussion des résultats de notre recherche, permettant ainsi une réflexion sur les critères génériques d'analyse intermodale et où nous soulignons aussi les futurs angles possible de recherche que cette thèse a permis de mettre à jour.

The study of multi-modal perceptionis primarily concerned with how the different sensory modalities become integrated into the coherent unified, conscious representation we experience. By expanding the remit of perceptual research beyond unimodal stimulation, we are able to gain a more thorough understanding of the human brain and its functions. This thesis is primarily concerned with audio-visual crossmodal perception as studied via psychophysical methods. I first broadly introduce the topic, then go on to review the literature pertaining to the research carried out in greater detail. The first esperimental chapters concern the ''illusory-Flash) effect (Shams et Al. 2000, Nature, 408, 788), in which one flash presented with two tones has a tendency to be perceived as two flashes. The extend to which this effect is attributable to response bias is examined, and a method to measure the illusion's perceived contrast is established. Next, I present a novel technique for the study of the extent to which sound can modify the perceptual saliency of a visual stimulus, minimizing potential response bias by requiring observers to answer on a dimension orthogonal to the question of interest. The final experimental chapter concerns the effect of manipulating the spatial location congruency between auditory and visual stimuli on eye movements; specifically, saccadic endpoints and reaction times. In each experimental topic, low-level multisensory integration and higher-level cognitive influences are considered in modeling the patterns of results. In the discussion, future directions and potential applications of the research presented are considered.