L'accès au lexique dans la perception audiovisuelle et visuelle de la parole

Lexical access in audiovisual speech perception

• Auteur / Autrice : Mathilde Fort
• Direction : Sonia Kandel, Elsa Spinelli
• Type : Thèse de doctorat
• Discipline(s) : Sciences cognitives, psychologie et neurocognition
• Date : Soutenance le 05/12/2011
• Etablissement(s) : Grenoble
• Ecole(s) doctorale(s) : École doctorale ingénierie pour la santé, la cognition, l'environnement (Grenoble ; 1995-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire de psychologie et neurocognition (Grenoble, Isère, France ; Chambéry, Savoie, France ; 1996?-....)
• Jury : Président / Présidente : Pierre Halle
• Jury : Examinateurs / Examinatrices : Sonia Kandel, Elsa Spinelli, Jean-Luc Schwartz, Ulrich Frauenfelder
• Jury : Rapporteurs / Rapporteuses : Juan Segui

Mots clés

Mots clés libres

Perception audiovisuelle de la parole

Accès au lexique

Effet de supériorité du mot

Amorçage phonologique fragmenté

Audiovisual speech perception

Lexical access

Word superiority effect

Partial phonological priming

Résumé

En situation de perception audiovisuelle de la parole (i.e., lorsque deux interlocuteurs communiquent face à face) et lorsque le signal acoustique est bruité, l‟intelligibilité des sons produits par un locuteur est augmentée lorsque son visage en mouvement est visible. L‟objectif des travaux présentés ici est de déterminer si cette capacité à « lire sur les lèvres » nous est utile seulement pour augmenter l‟intelligibilité de certains sons de parole (i.e., niveau de traitement pré-lexical) ou également pour accéder au sens des mots (i.e., niveau de traitement lexical). Chez l‟adulte, nos résultats indiquent que l‟information visuelle participe à l‟activation des représentations lexicales en présence d‟une information auditive bruitée (Etude 1 et 2). Voir le geste articulatoire correspondant à la première syllabe d‟un mot constitue une information suffisante pour contacter les représentations lexicales, en l‟absence de toute information auditive (Etude 3 et 4). Les résultats obtenus chez l‟enfant suggèrent néanmoins que jusque l‟âge de 10 ans, l‟information visuelle serait uniquement décodée à un niveau pré-lexical (Etude 5). Mots-clés : parole visuelle et audiovisuelle, reconnaissance de mots parlés, accès au lexique.

Seeing the facial gestures of a speaker enhances phonemic identification in noise. The goal of this research was to assess whether this visual information can activate lexical representations. We investigated this question in adults (Experiment 1 to 4) and in children (Experiment 5). First, our results provide evidence indicating that visual information on consonant (Experiment 1) and vowel identity (Experiment 2) contributes to lexical activation processes during word recognition, when the auditory information is deteriorated by noise. Then, we also demonstrated that the mere presentation of the first two phonemes – i.e., the articulatory gestures of the initial syllable– is enough visual information to activate lexical representations and initiate the word recognition process (Experiment 3 and 4). However, our data suggest that visual speech mostly contributes in pre-lexical phonological -rather than lexical- processing in children till the age of 10 (Experiment 5). Key words : speech, visual and audiovisual speech, spoken word recognition, lexical access.