Reconnaissance automatique de l'émotion à partir de signaux EEG

Automatic recognition of emotion from EEG signals

• Auteur / Autrice : Anne-Claire Conneau
• Direction : Gaël Richard, Slim Essid
• Type : Thèse de doctorat
• Discipline(s) : Signal et images
• Date : Soutenance le 09/06/2016
• Etablissement(s) : Paris, ENST
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris (1992-...)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Traitement et communication de l'information (Paris ; 2003-....)
• Jury : Président / Présidente : Catherine Pelachaud
• Jury : Examinateurs / Examinatrices : Magalie Ochs
• Jury : Rapporteur / Rapporteuse : Jean-Claude Martin, Mohamed Chetouani

Mots clés

Mots clés contrôlés

Reconnaissance des formes (informatique)

Électroencéphalographie

Traitement du signal

Mots clés libres

EEG

Emotion

Apprentissage automatique

Classification

Corpus

EEG

Emotion

Machine learning

Classification

Dataset

Résumé

Alors que l’utilisation de l’électro-encéphalographie (EEG) a longtemps été confinée au domaine médical, l’intérêt dansles interfaces cerveau-machine basées sur ces signaux s’est développé au cours de ces dernières années pour les applications grand public. Les enregistrements EEG ont tout particulièrement retenu l’attention des chercheurs dans le domaine de l’informatique affective, affective computing, dans le but de réaliser des travaux sur l’analyse du comportement humain, et ce plus particulièrement sur la reconnaissance automatique des émotions. Comparé à d’autres modalités utilisées dans de précédents travaux sur la reconnaissance des émotions, telles que la parole, les expressions du visage, les mouvements et d’autres signaux physiologiques, l’EEG a l’avantage de pouvoir capturer des informations liées à l’état émotionnel interne qui n’est pas forcément traduit par des manifestations extérieures observables. La reconnaissance des émotions est habituellement envisagée sous l’angle d’un problème de classification où le choix de caractéristiques appropriées est essentiel dans le but de s’assurer une précision de reconnaissance satisfaisante. Une de nos problématiques repose sur le fait que, dans le cadre des caractéristiques EEG, un consensus n’a toujours pas été réalisé sur un ensemble standard de caractéristiques qui permettrait de garantir une distinction performante des émotions d’un sujet humain. Nous explorons une grande variété de caractéristiques temporelles, spectrales et spatiales pouvant être potentiellement utiles dans le cadre de la reconnaissance des émotions et nous les comparons à d’autres, exposées dans de précédents travaux, en utilisant un protocole expérimental rigoureux. Nous évaluons plus particulièrement l’efficacité de plusieurs caractéristiques spectrales, n’ayant pas été précédemment proposées pour le problème de la classification. Nos résultats montrent que les nouvelles caractéristiques spectrales que nous proposons sont compétitives comparées à celles précédemment utilisées. Elles nous amènent de plus vers une configuration mono-canal performante de la reconnaissance des émotions, ce qui implique un fort potentiel pour les applications destinées au grand public. Au sein des corpus existants et accessibles destinés à la reconnaissance des émotions en informatique affective, l’aspect de la dynamique de l’émotion n’est pas pris en considération. Ces corpus présentent également un manque de variabilité dans les données et ne possèdent les enregistrements que d’un nombre limité de participants. Ces raisons nous ont menées à proposer un corpus multi-modal destiné à l’analyse de l’état émotionnel qui s’attache à répondre au mieux à certaines faiblesses des corpus existants. Nous employons différentes stratégies d’élicitation de l’émotion, par le biais de l’utilisation de stimuli visuels et audio-visuels, et nous proposons également une approche novatrice dans la stratégie d’annotation de l’émotion ressentie, en intégrant en plus de la retranscription de l’émotion ressentie de manière globale, la retranscription de ses variations. Ce nouveau corpus permettra dans un premier temps de renforcer la validation de l’approche proposée dans nos travaux. D’autre part, en accord avec les résultats encourageants obtenus, il sera possible d’envisager à plus long terme la caractérisation de la dynamique de l’état émotionnel de l’utilisateur qui ouvre la voie à de nouveaux modèles qui pourraient prédire, par exemple, l’augmentation de l’anxiété de l’utilisateur en fonction de la situation dans laquelle il est placé.

While the usage of electroencephalographic (EEG) recording has been for long confined in the medical field, the recent years have seen a growing interest in EEG-based brain-computer interfaces (BCI) for general public applications. In particular EEG-recording has attracted the attention of researchers in the field of affective computing as part of the effort to perform human-behaviour analysis tasks, especially automatic emotion recognition Compared to other modalities which have been considered in previous work on emotion recognition, such as speech, facial expressions, gestures or other physiological signals, EEG has the advantage of capturing information related to internal emotional states not necessarily resulting in any observable externalmanifestations. Emotion recognition is usually approached as a classification problem where the choice of appropriate features is critical to ensure satisfactory recognition accuracy. As far as EEG-features are concerned, a consensus has not yet been reached as to a standard set of attributes that could guarantee a successful characterization of a human-subject’s emotions. We explore a wide range of temporal, spectral and spatial features potentially useful for emotion recognition, comparing them to previous proposals through a rigorous experimental evaluation. In particular we assess the effectiveness of various spectral features that were not previously envisaged for the problem of classifying emotions. Our results show that the new spectral shape features that we propose are very competitive compared to previously used ones. They are additionally amenable to successful emotion recognition in single-channel setups, which holds a great potential for general public applications. Within the existing and accessible datasets for emotion recognition in affective computing, the aspect of the dynamics of emotion is not being considered. Those datasets also showa lack of variability in the data and contain the records of a limited number of participants. These reasons have led us to propose a new multimodal dataset for the analysis of the emotional state that attaches to respond better to certain weaknesses of the existing datasets. We use different strategies for the emotion elicitation, through the use of both visual and audio-visual stimuli. We also provide an innovative approach to the strategy on the annotation of the emotion experienced by the user by integrating more than the transcript of the emotion globally felt, but also the transcript of its variations. This new dataset will, in a first stage, enhance the validation of the approach we propose in our work. Secondly, in agreement with the encouraging results, it will be possible to consider a longer-term characterization of the dynamics of the emotional state of the user, which opens the way for new models that could predict, for example, the increase in the user’s anxiety according to the situation in which he is placed.