Les interactions et intégrations multi-sensorielles sous l’angle d’un modèle de mémoire à traces multiples

Multisensory interplay and integration rewied by a multitrace madelization of memory

• Auteur / Autrice : Mathieu Lesourd
• Direction : Rémy Versace
• Type : Thèse de doctorat
• Discipline(s) : Sciences cognitives
• Date : Soutenance le 22/09/2011
• Etablissement(s) : Lyon 2
• Ecole(s) doctorale(s) : École doctorale Éducation, psychologie, information et communication (Lyon ; 2007-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'Etude des Mecanismes Cognitifs
• Jury : Président / Présidente : Olivier Koenig
• Jury : Examinateurs / Examinatrices : Micah Murray, Denis Brouillet, Stéphane Rousset
• Jury : Rapporteurs / Rapporteuses : Micah Murray, Denis Brouillet

Mots clés

Mots clés contrôlés

Psychologie cognitive

Mémoire

Processus perceptivomoteurs

Mots clés libres

Modèle de mémoire à trace multiple

Intégration multi-sensorielle

Race Model

Perception/mémoire

Multitrace memory modelization

Multisensory integration

Race Model

Perception/memory

Résumé

Notre travail s’inscrit dans une conception fonctionnaliste de la mémoire qui se donne pour objectif de décrire le fonctionnement de la mémoire plus que sa structure. Notre assise théorique est basée sur le modèle Act-in qui postule que la mémoire est représentée par un ensemble de traces multidimensionnelles. Ces traces comporteraient l’ensemble des dimensions d’une expérience (e.g., motrices, sensorielles, émotionnelles). Pour rendre compte de l’émergence des connaissances, ce modèle repose sur deux mécanismes : l’activation et l’intégration. Notre travail avait pour objectif de spécifier les relations fonctionnelles entre activation et intégration à travers les mécanismes perceptifs et les mécanismes mnésiques. Nous avons également proposé un mécanisme d’interaction, permettant de rendre compte de la formation des traces sensorielles en mémoire. Comme le modèle Act-in conçoit les traces en mémoire comme étant multidimensionnelles, nous avons étudié les différentes relations entre mécanismes d’intégration, interaction et activation via le prisme de la multimodalité. Ce travail s’est organisé autour de deux grands axes expérimentaux, un premier tourné vers l’intégration en perception et l’autre vers l’intégration en mémoire.Dans un premier axe, nous avons introduit la notion d’interaction multimodale pour rendre compte des relations entre modalités sensorielles dans des tâches perceptives. Nous avons montré que lorsque des interactions sensorielles étaient systématiquement répétées, les performances de sujets étaient meilleures que celles observées dans un contexte multimodal dans lequel les modalités sensorielles n’entretenaient pas de lien. Nous avons mesuré à l’aide d’un outil mathématique, le Race Model, le gain multi-sensoriel dans diverses conditions. Nous avons montré que le Race Model mesurait un gain multi-sensoriel essentiellement lorsque la tâche n’impliquait pas de processus mnésiques (i.e., détection). Selon nous, cela montre que cet outil mathématique est plus sensible à l’interaction multimodale, lorsque les composants sensoriels ne sont pas intégrés en mémoire.Dans un second axe, nous avons développé un paradigme expérimental permettant de mesurer les effets d’un encodage sensoriel sur une récupération ultérieure (i.e., catégorisation, reconnaissance et rappel libre). Nous avons montré qu’une association multimodale congruente lors d’un encodage (e.g., image de chien et aboiement du chien) améliorait significativement les performances dans diverses tâches de mémoire. Selon nous, l’activation des dimensions auditives associées au sein de la trace explique cette facilitation lors de la récupération. Nous avons également montré qu’une association multimodale non congruente lors de l’encodage (e.g., image d’un chien et bruit blanc) perturbait la récupération en mémoire à long terme. Ce résultat apporte un argument supplémentaire en faveur des modèles de mémoire qui postulent que les connaissances sont avant tout sensorielles.Pour résumer, ce travail a permis dans un premier temps de proposer un mécanisme d’interaction multimodale nécessaire à l’intégration des composants sensoriels en mémoire. Dans un second temps, nous avons montré que des modalités sensorielles associées lors de l’encodage pouvait être réactivées ultérieurement et faciliter le traitement uniquement si les modalités sensorielles étaient sémantiquement congruentes. Ce résultat renforce la conception d’une mémoire organisée autour de connaissances avant tout sensorielles.Enfin, les résultats que nous obtenons suggèrent que la mémoire et la perception partagent des traitements communs car un trait perceptivement absent peut influencer un trait perceptivement présent et réciproquement. Cela nous permet d’envisager une relation horizontale entre mémoire et perception et remet en question la conception traditionnelle top-down des liens entre mémoire et perception.

Our conception of memory has the aim to describe the memory process more than the memory architecture. Our theoretical approach is based on the Act-in model, postulating that memory is represented by a multidimensional set of traces. These traces should include all dimensions of an experience (e.g., sensory-motor and emotional components). This model relies on two mechanisms (i.e., activation and integration) in order to reveal the emergence of knowledge. The aim of this work was to specify the functional relationships between activation and integration through memory and perception mechanisms. We also proposed a mechanism of interaction, to understand the formation of sensory memory traces. The model Act-in is composed by multidimensional memory traces. Thus, we studied the relationship between integration, interaction and activation through multimodality. This work was organized around two main axis. On one hand perceptual integration and on the other hand the memory integration.In the first axis, we have introduced the concept of multimodal interaction to show the relationship between sensory modalities in perceptual tasks. Our results revealed that when sensory interactions were systematically repeated, the performance of subjects were better than those observed in a context in which multimodal sensory modalities did not maintain a link. We measured using a mathematical tool, the Race Model, multi-sensory gain under various conditions. We have shown that the Race Model measured multi-sensory gain, mainly when the task did not involve memory processes (i.e., detection). This mathematical tool seems to be more sensitive to multimodal interaction, when the sensory components are not integrated into memory.In the second axis, we used an experimental paradigm to measure the effects of sensory encoding on subsequent retrieval tasks (i.e., categorization, recognition and free recall). Our results showed that a congruent multimodal association at encoding (e.g., image of dog and the dog barking) improved performance in various memory tasks. It seems that the activation of the sensory dimensions could explain the facilitation during retrieval. Moreover, an incongruent multimodal association at encoding (e.g., image of a dog and white noise) disturbed performance from retrieval in long-term memory. This result provides a further argument supporting sensory-based memory model.In summary, we propose a multimodal interaction mechanism for the integration of sensory components in memory. Secondly, we have shown that sensory modalities associated during encoding could be reactivated later and facilitate the processing only when the sensory modalities were semantically congruent. This result improves the assumption that memory is sensory-based.Finally, theses results suggest that memory and perception share common features. The reactivation of a sensory dimension can influence the perceptual dimension processing and vice versa. This allows us to consider a horizontal relationship between memory and perception. In such case, the traditional relationship between memory and perception, as assumed to be top-down, could be questioned.