Modélisation par Réseaux de Neurones Artificiels des Facteurs Psychologiques Descendants de la Cognition à la Perception

Artificial Neural Network Modeling of Psychological Factors from Cognition to Perception

• Auteur / Autrice : Quentin Senant
• Direction : Martial Mermillod, Frédéric Dutheil
• Type : Projet de thèse
• Discipline(s) : PCN - Sciences cognitives, psychologie et neurocognition
• Date : Inscription en doctorat le 01/10/2023
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale ingénierie pour la santé, la cognition, l'environnement (Grenoble ; 1995-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire de Psychologie et Neuro Cognition
• Partenaire(s) de recherche : Equipe de recherche : Vision & Emotion (VisEmo)

Mots clés

Mots clés libres

Émotion

Vision

Neurosciences cognitives

Fréquences spatiales

Psychophysique

Neurosciences computationnelles

Emotion

Vision

Cognitive neurosciences

Spatial frequencies

Psychophysics

Computational neurosciences

Résumé

Prédire où les gens regardent lorsqu'ils sont confrontés à différents types de stimuli visuels est un défi majeur en psychologie et en vision par ordinateur. De nombreux travaux de recherche adressent cette problématique depuis des décennies. Des expériences comportementales et des simulations computationnelles ont montré que les régions les plus regardées dépendent des propriétés de l'image ainsi que de leur contenu sémantique. Alors que la grande majorité des études ont abordé cette question en utilisant des comparaisons de modèles limitées aux scènes naturelles, peu ont analysé ces prédictions pour des visages émotionnels. Les principaux travaux, résultats comportementaux et modèles computationnels (Bruce & Tsotsos, 2009; Judd et al., 2012; Mahdi et al., 2020; Torralba et al., 2006; Walther & Koch, 2006) adressant la saillance visuelle d'images de scènes naturelles sont rassemblés sur le site web du MIT/Tuebingen Saliency benchmark : https://saliency.tuebingen.ai/ (Judd et al., 2012; Kümmerer et al., 2017). L'émotion affichée sur un visage constitue un vecteur d'information sociale attirant plus facilement l'attention que les stimuli neutres, et leur traitement privilégié est utile tant à la socialisation qu'à la survie. Le but de mon travail pour cette étude est de comparer les régions d'intérêt (ROI, pour regions of interest) issues de données en oculométrie sur des images de visages émotionnels avec des cartes de saillance LayerCAM (Jiang et al., 2015) obtenues à partir de réseaux neuronaux convolutifs pré-entraînés, ainsi que celles obtenues à partir de modèles de saillance classiques de la littérature : SUN (Zhang et al., 2008), Walther & Koch (2006) et DeepGaze IIE (Linardos et al., 2021).

Predicting where people look when faced with different types of visual stimuli is a major challenge in psychology and computer vision. Many research works have addressed this issue for decades. Behavioral experiments and computational simulations have shown that the most viewed regions depend on the properties of the image as well as its semantic content. While the vast majority of studies have tackled this question using model comparisons limited to natural scenes, few have analyzed these predictions for emotional faces. The main works, behavioral results, and computational models (Bruce & Tsotsos, 2009; Judd et al., 2012; Mahdi et al., 2020; Torralba et al., 2006; Walther & Koch, 2006) addressing the visual salience of natural scene images are gathered on the MIT/Tuebingen Saliency benchmark website: https://saliency.tuebingen.ai/ (Judd et al., 2012; Kümmerer et al., 2017). The emotion displayed on a face is a vector of social information that more easily attracts attention than neutral stimuli, and its preferential processing is useful both for socialization and survival. The aim of my work for this study is to compare the regions of interest (ROI) from eye-tracking data on emotional face images with LayerCAM saliency maps (Jiang et al., 2015) obtained from pre-trained convolutional neural networks, as well as those obtained from classical saliency models in the literature: SUN (Zhang et al., 2008), Walther & Koch (2006), and DeepGaze IIE (Linardos et al., 2021).