Plate-forme multimodale pour la reconnaissance d'émotions via l'analyse de signaux physiologiques : application à la simulation d'entretiens d'embauche

Multimodal paltform for emotion recognition based on physiological responses : application in the interviews simulation

• Auteur / Autrice : Hamza Hamdi
• Direction : Paul Richard
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance en 2012
• Etablissement(s) : Angers

Mots clés

Mots clés contrôlés

Temps réel (informatique)

Classification automatique

Reconnaissance automatique des émotions

Mots clés libres

Signaux physiologiques

Multi-modalité

Interaction affective

Résumé

La reconnaissance des émotions est un aspect important de l'informatique affective dont l'un des objectifs est l'étude et le développement d'interactions comportementales et émotionnelles entre humains et agents conversationnels animés. Dans ce contexte, un point également important concerne les dispositifs d'acquisition et les outils de traitement des signaux, conduisant à une estimation de l'état émotionnel de l'utilisateur. Le travail présenté dans ce manuscrit repose sur le développement d'une plate-forme multimodale d'acquisition et de traitement de signaux physiologiques (PACE). Cette plate-forme peut être considérée comme un middleware modulaire et générique permettant de mesurer, en temps réel, l'état émotionnel de l'utilisateur via l'estimation d'un vecteur d'état. Elle s'intègre dans le cadre de la mise en place d'un simulateur innovant destiné à la simulation d'entretiens d'embauche (Projet PISE : Plate-forme Immersive de Simulation d'Entretien). Cet outil permettra aux personnes en phase d'insertion ou de réinsertion, une meilleure gestion de leurs compétences comportementales et émotionnelles. L'approche que nous avons développée se fonde sur les résultats expérimentaux obtenus et sur une méthodologie originale impliquant différents modèles mathématiques. Différents protocoles expérimentaux, basés sur deux techniques d'induction de stimuli (images IAPS et séquences vidéo de Schaeffer) ont été proposés. Ils permettent la détermination de la corrélation entre les états émotionnels et les signaux physiologiques (EEG, ECG, etc. ) issus des capteurs proposés. Trois méthodes de classification (SVM, naïve bayésienne, régression logistique) ont été comparées sur plusieurs critères d'évaluation. Nous avons proposé, à partir des résultats obtenus, une méthodologie permettant l'extraction en temps réel des émotions via les modèles proposés. Une étude expérimentale a également été menée avec pour objectif de valider la plate-forme PACE via la reconnaissance d'états émotionnels lors de séquences vidéo développées à l'Université d'Angers. L'approche multimodale proposée a donné de meilleurs résultats que les approches uni-modales précédentes. Enfin, notre plate-forme a été intégrée au simulateur PISE, et évaluée de manière subjective et objective lors de simulations d'entretiens. Les résultats ont permis de valider partiellement le simulateur.

Emotion recognition of is an important aspect of affective computing which the main objective is the study and the development of emotional and behavioral interactions between human beings and interactive conversational agents. In this context, it is important to point out the use of both input devices and tools for signal processing, which lead us to the estimation of the user's emotional state. The work presented in this manuscript describes the development of a multimodal platform for the acquisition and the processing of physiological signals. This platform can be considered as a modular and generic middleware allowing to measure, in real time, the emotional state of the user via the estimation of a state vector. The platform is being developed in the context of the PISE project that aims at the development of a job interviews simulator. This simulator allows students or job seekers to train to master their emotional and behavioral skills. The proposed approach is based on experimental results and associated with an original methodology involving different mathematical models. Different experimental protocols based on two techniques of induction of stimuli (IAPS pictures and video clips of Schaeffer) where proposed. They allow the determination of the correlation between the emotional states and the physiological signals (EEG, ECG, etc. ). Three classification methods (SVM, naive Bayes, logistic regression) were used and compared on several criteria of evaluation. We proposed, from the experimental results, a methodology allowing the real-time extraction of the emotions via the proposed models. An experimental study was conducted with the aim to validate the multimodal platform through the recognition of emotional states from video sequences developed at the University of Angers. The proposed multimodal approach gave better results than the previous uni-modal approaches. Finally, our platform was integrated into the job interview simulator and evaluated through both subjective and objective collected data. The results allowed to partially validating our approach and the simulator.