Analyse conjointe de traces oculométriques et d'EEG à l'aide de modèles de Markov cachés couplés

Joint analysis of eye movements and EEGs using coupled hidden Markov

• Auteur / Autrice : Brice Olivier
• Direction : Jean-Baptiste Durand, Anne Guérin-Dugué
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques appliquées
• Date : Soutenance le 26/06/2019
• Etablissement(s) : Université Grenoble Alpes (ComUE)
• Ecole(s) doctorale(s) : École doctorale Mathématiques, sciences et technologies de l'information, informatique (Grenoble ; 1995-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Jean Kuntzmann (Grenoble)
• Partenaire(s) de recherche : Equipe de recherche : Modélisation et Inférence de phenomenes aléatoires complexes et structures / MISTIS
• Jury : Président / Présidente : Sophie Achard
• Jury : Examinateurs / Examinatrices : Jean-Michel Boucheix
• Jury : Rapporteurs / Rapporteuses : Halszka Jarodzka, Juan-Ciscar Alfons

Mots clés

Mots clés contrôlés

Traitement du signal

Modèles de Markov cachés

Lecture -- Aspect cognitif

Oeil -- Mouvements

Mots clés libres

Traitement du signal pour le cerveau et la vision

Modèle de Markov caché

Modèles de semi-Markov cachés couplés

Vision and Brain Signal Processing

Hidden Markov Model

Coupled Hidden semi-Markov Model

Résumé

Cette thèse consiste à analyser conjointement des signaux de mouvement des yeux et d’électroencéphalogrammes (EEG) multicanaux acquis simultanément avec des participants effectuant une tâche de lecture de recueil d'informations afin de prendre une décision binaire - le texte est-il lié à un sujet ou non? La recherche d'informations textuelles n'est pas un processus homogène dans le temps - ni d'un point de vue cognitif, ni en termes de mouvement des yeux. Au contraire, ce processus implique plusieurs étapes ou phases, telles que la lecture normale, le balayage, la lecture attentive - en termes d'oculométrie - et la création et le rejet d'hypothèses, la confirmation et la décision - en termes cognitifs.Dans une première contribution, nous discutons d'une méthode d'analyse basée sur des chaînes semi-markoviennes cachées sur les signaux de mouvement des yeux afin de mettre en évidence quatre phases interprétables en termes de stratégie d'acquisition d'informations: lecture normale, lecture rapide, lecture attentive et prise de décision.Dans une deuxième contribution, nous lions ces phases aux changements caractéristiques des signaux EEG et des informations textuelles. En utilisant une représentation en ondelettes des EEG, cette analyse révèle des changements de variance et de corrélation des coefficients inter-canaux, en fonction des phases et de la largeur de bande. En utilisant des méthodes de plongement des mots, nous relions l’évolution de la similarité sémantique au sujet tout au long du texte avec les changements de stratégie.Dans une troisième contribution, nous présentons un nouveau modèle dans lequel les EEG sont directement intégrés en tant que variables de sortie afin de réduire l’incertitude des états. Cette nouvelle approche prend également en compte les aspects asynchrones et hétérogènes des données.

This PhD thesis consists in jointly analyzing eye-tracking signals and multi-channel electroencephalograms (EEGs) acquired concomitantly on participants doing an information collection reading task in order to take a binary decision - is the text related to some topic or not ? Textual information search is not a homogeneous process in time - neither on a cognitive point of view, nor in terms of eye-movement. On the contrary, this process involves several steps or phases, such as normal reading, scanning, careful reading - in terms of oculometry - and creation and rejection of hypotheses, confirmation and decision - in cognitive terms.In a first contribution, we discuss an analysis method based on hidden semi-Markov chains on the eye-tracking signals in order to highlight four interpretable phases in terms of information acquisition strategy: normal reading, fast reading, careful reading, and decision making.In a second contribution, we link these phases with characteristic changes of both EEGs signals and textual information. By using a wavelet representation of EEGs, this analysis reveals variance and correlation changes of the inter-channels coefficients, according to the phases and the bandwidth. And by using word embedding methods, we link the evolution of semantic similarity to the topic throughout the text with strategy changes.In a third contribution, we present a new model where EEGs are directly integrated as output variables in order to reduce the state uncertainty. This novel approach also takes into consideration the asynchronous and heterogeneous aspects of the data.