Compréhension des textes multimodaux : l'exemple de la bande dessinée

Multimodal test comprehension : an example of comics

• Auteur / Autrice : Alexandre Sonine
• Direction : Lucile Chanquoy, Véra Anatoliévna Pistchalnikova
• Type : Thèse de doctorat
• Discipline(s) : Psychologie
• Date : Soutenance en 2003
• Etablissement(s) : Nantes

Mots clés

Mots clés contrôlés

Bandes dessinées

Résumé

Cette étude vise à spécifier les mécanismes de compréhension de la bande dessinée (BD). D'abord, une analyse structurale de la BD présente l'interaction entre verbal et pictural comme un trait spécifique influençant le traitement de son contenu. Ensuite, l'inventaire des principaux formats de représentation est dressé. Le format d'inspiration connexionniste est proposé comme le plus adapté pour concevoir la compréhension du texte multimodal de la BD. Enfin, la question des mécanismes de traitement des composantes hétérogènes de ce média est abordée. Une revue des différents modèles permet de retracer le cheminement des informations à partir du traitement primaire d'identification jusqu'à la construction de la représentation au niveau sémantique pour chaque composante. Après leur analyse théorique, plusieurs postulats sont réunis pour former un modèle de compréhension de la BD. Ce modèle est validé par un ensemble de résultats empiriques obtenus au cours de 3 recherches expérimentales.

This thesis investigates mechanisms of comics comprehension. Firstly, the author attempts to explore the relationships between heterogeneous elements of comics (words and visuals) through its structural analysis. Secondly, the thesis offers a study of different mental representation models. A connectionist model is proposed to explain the processing of the multimodal text of comics. Finally, the research examines differences between written words and pictures processing in order to demonstrate specific ways in which the activation of mental models spreads from the primary level of object identification to the construction of its semantic representation. The author revises several statements emphasising differences in processing of heterogeneous elements of comics to elaborate a model of comics comprehension. Three experiments supporting the model follow the theoretical study described above.