Auteur / Autrice : | Antoine Coutrot |
Direction : | Alice Caplier, Nathalie Guyader |
Type : | Thèse de doctorat |
Discipline(s) : | Signal, image, paroles, télécoms |
Date : | Soutenance le 02/10/2014 |
Etablissement(s) : | Grenoble |
Ecole(s) doctorale(s) : | École doctorale électronique, électrotechnique, automatique, traitement du signal (Grenoble ; 199.-....) |
Partenaire(s) de recherche : | Laboratoire : Grenoble Images parole signal automatique |
Jury : | Président / Présidente : Jean-Luc Schwartz |
Examinateurs / Examinatrices : Alice Caplier, Nathalie Guyader, Olivier Le Meur | |
Rapporteurs / Rapporteuses : Matei Mancas, Patrick Le Callet |
Mots clés
Mots clés contrôlés
Résumé
Nous étudions l'influence de différents attributs audiovisuels sur l'exploration visuelle de scènes naturelles dynamiques. Nous démontrons que si la façon dont nous explorons une scène dépend avant tout de son contenu visuel, dans certaines situations le son influence significativement les mouvements oculaires. La présence de son assure une meilleure cohérence entre les positions oculaires de différents observateurs, attirant leur attention et donc leur regard vers les mêmes régions. L'effet du son se retrouve tout particulièrement dans les scènes de conversation, où la présence du signal de parole associé augmente le nombre de fixations sur le visage des locuteurs, et donc la cohérence entre les scanpaths. Nous proposons un modèle de saillance audiovisuelle repérant automatiquement le visage des locuteurs afin d'en rehausser la saillance. Ces résultats s'appuient sur les mouvements oculaires de 148 participants enregistrés sur un total de plus de 75 400 frames (125 vidéos) dans 5 conditions expérimentales différentes.