Approche Hybride Basée sur l'IA, par fusion EEG-Expression Faciale pour l'Interaction Humain-MAchine

Hybrid AI-Based Approach Utilizing EEG-Facial Expression fusion for Human-Machine Interaction

• Auteur / Autrice : Ahmed Roshdy
• Direction : Amine Naït-Ali, Taha Beyrouthy
• Type : Projet de thèse
• Discipline(s) : Signal, Image, Automatique
• Date : Inscription en doctorat le ; Soutenance le 27/01/2025
• Etablissement(s) : Paris 12
• Ecole(s) doctorale(s) : École doctorale Mathématiques, Sciences et Technologies de l'Information et de la Communication (Champs-sur-Marne, Seine-et-Marne ; 2010-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Images, Signaux et Systèmes Intelligents (Créteil)
• Jury : Président / Présidente : Anissa Mokraoui
• Jury : Examinateurs / Examinatrices : Amine Nait-ali, Taha Beyrouthy, Yasmina Chenoune
• Jury : Rapporteurs / Rapporteuses : Larbi Boubchir, Thierry Fournel

Mots clés

Mots clés libres

Reconnaissance Des Émotions

Expressions faciales

Canaux EEG

Optimisation Des canaux

Fonctionnalités EEG

Carte du cerveau thermique

Emotion Recognition

Facial Expressions

EEG Channels

Channels Optimization

EEG Features

Heat Brain Map

Résumé

La reconnaissance des émotions par électroencéphalogramme (EEG) est un domaine de recherche qui explore l'utilisation des signaux cérébraux pour identifier les émotions d'une personne. Ceci peut être réalisé en décodant les modèles EEG associés aux émotions ou en utilisant l’apprentissage automatique pour discerner les modèles dans les enregistrements EEG. Cette technologie trouve des applications dans la réalité virtuelle, les jeux interactifs, le divertissement, le bien-être mental, l'évaluation psychiatrique, le conseil et la thérapie. De plus, la reconnaissance des émotions par EEG est prometteuse pour la détection automatisée et la reconnaissance en temps réel des états émotionnels. Il informe également les interfaces sensibles aux émotions et divers systèmes informatiques affectifs, ce qui en fait un élément essentiel des interactions humaines. En parallèle, les méthodes de vision par ordinateur pour la reconnaissance automatique des émotions ont suscité une attention considérable. L’une des approches les plus importantes consiste à traiter les signaux EEG multicanaux. Cependant, les signaux EEG sont considérés comme une « boîte noire » en raison d’une compréhension limitée de leur génération et de leur signification. Bien que l’EEG soit largement utilisé pour les diagnostics médicaux, de nombreuses incertitudes subsistent quant à son fonctionnement interne et à ses implications. Cette thèse présente un nouveau modèle convivial pour la reconnaissance des émotions qui utilise comme entrée des cartes cérébrales dérivées de canaux EEG optimisés. Les cartes cérébrales représentent des caractéristiques spatiales extraites des signaux EEG, et le modèle mathématique proposé est basé sur les échelles de couleurs des cartes thermiques cérébrales. Ce modèle offre une flexibilité pour appliquer diverses techniques d'optimisation. L'optimisation globale d'homologie simplifiée (SHGO) est choisie comme technique d'optimisation globale en raison de son efficacité dans la gestion des défis présentés par les signaux EEG, qui dépendent de l'activité neurologique d'un individu. Les cartes thermiques cérébrales, affichant l’activité cérébrale du bleu (minimale) au rouge (élevée), jouent un rôle déterminant dans ce contexte, construites sur la base de différentes caractéristiques EEG et plages de fréquences. Le modèle est formé et testé sur l'ensemble de données DEAP et une base de données auto-collectée avec différentes classifications d'émotions. Les signaux EEG biométriques humains sont précieux dans les systèmes d’interface cerveau-ordinateur (BCI), couvrant des applications allant des neurosciences au neuromarketing. Ce travail vise à numériser les émotions humaines, en imitant l’empathie des machines. Une expérience de validation de principe consiste à capturer des signaux EEG avec un casque EMOTIV EPOC, à générer des cartes thermiques d'intensité 2D pour des stimuli émotionnels prédéfinis et à utiliser un réseau neuronal artificiel (ANN) pour la classification. La contribution clé réside dans l'exploitation d'outils de reconnaissance d'images matures dans les systèmes ANN et de réseaux neuronaux convolutifs (CNN) pour reconnaître les émotions en adaptant la carte d'intensité 2D de l'activité cérébrale EEG. Un système multimodal améliore l’efficacité globale. Le CNN d'EEG de valence, formé et validé sur une base de données de 16 participants, a atteint une précision de 87,43 % en tant que système autonome, qui a augmenté à 91,21 % lorsqu'il est combiné avec le CNN d'expressions faciales. En résumé, la reconnaissance des émotions par EEG et les modèles basés sur les cartes cérébrales ont le potentiel de révolutionner la reconnaissance des émotions et l'interaction homme-machine, avec des applications allant du divertissement aux soins de santé.

Electroencephalogram (EEG) emotion recognition is a research field that explores the utilization of brain signals to identify a person's emotions. This can be achieved by decoding EEG patterns associated with emotions or employing machine learning to discern patterns within EEG recordings. This technology finds applications in virtual reality, interactive gaming, entertainment, mental well-being, psychiatric assessment, counseling, and therapy. Furthermore, EEG emotion recognition holds promise for automated detection and real-time recognition of emotional states. It also informs affect-sensitive interfaces and various affective computing systems, making it a critical component of human interactions. In parallel, computer vision methods for automatic emotion recognition have gained significant attention. One of the prominent approaches involves processing multi-channel EEG signals. However, EEG signals are considered a ''black box'' due to limited understanding of their generation and meaning. While EEG is widely used for medical diagnoses, much remains uncertain about its inner workings and implications. This thesis introduces a novel, user-friendly model for emotion recognition that utilizes brain maps derived from optimized EEG channels as input. Brain maps represent spatial features extracted from EEG signals, and the proposed mathematical model is based on the color scales of brain heat maps. This model provides flexibility for applying various optimization techniques. Simplicial Homology Global Optimization (SHGO) is chosen as a global optimization technique due to its effectiveness in handling the challenges presented by EEG signals, which depend on an individual's neurological activity. Brain heat maps, displaying brain activity from blue (minimal) to red (high), are instrumental in this context, constructed based on different EEG features and frequency ranges. The model is trained and tested on the DEAP dataset and a self-collected database with different emotion classifications. Human biometric EEG signals are valuable in Brain-Computer Interface (BCI) systems, spanning applications from neuroscience to neuromarketing. This work aims to digitize human emotions, emulating machine empathy. A proof-of-concept experiment involves capturing EEG signals with an EMOTIV EPOC headset, generating 2D intensity heat maps for predefined emotional stimuli, and employing an artificial neural network (ANN) for classification. The key contribution lies in leveraging mature image recognition tools in ANN and convolutional neural network (CNN) systems to recognize emotions by adapting the 2D intensity map of EEG brain activity. A multimodal system enhances overall efficiency. The valence EEG CNN, trained and validated on a database from 16 participants, achieved 87.43% accuracy as a standalone system, which increased to 91.21% when combined with the facial expressions CNN. In summary, EEG emotion recognition and brain map-based models hold potential for revolutionizing emotion recognition and human-computer interaction, with applications ranging from entertainment to healthcare.