Reconnaissance d'états émotionnels par analyse visuelle du visage et apprentissage machine

Recognition of emotional states by visual facial analysis and machine learning

• Auteur / Autrice : Khadija Lekdioui
• Direction : Yassine Ruichek, Rochdi Messoussi
• Type : Thèse de doctorat
• Discipline(s) : Sciences pour l'Ingénieur
• Date : Soutenance le 29/12/2018
• Etablissement(s) : Bourgogne Franche-Comté en cotutelle avec Université Ibn Tofail. Faculté des sciences de Kénitra
• Ecole(s) doctorale(s) : École doctorale Sciences pour l'ingénieur et microtechniques (Besançon ; 1991-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Electronique, Informatique et Image (LE2i) (Dijon, Côte d'Or ; Auxerre, Yonne ; Chalon-sur-Saône, Saône-et-Loire ; Le Creusot, Saône-et-Loire ; 1996-2018) - Laboratoire Electronique- Informatique et Image [UMR6303] / Le2i
• Partenaire(s) de recherche : Etablissement de préparation : Université de technologie de Belfort-Montbéliard (1999-....)
• Jury : Président / Présidente : Denis Hamad
• Jury : Examinateurs / Examinatrices : Mohamed Sbihi
• Jury : Rapporteurs / Rapporteuses : Rachid Oulad Haj Thami, Abdelmalik Taleb-Ahmed

Mots clés

Mots clés contrôlés

Analyse visuelle des données

Mots clés libres

Composants du visage

Reconnaissance des expressions faciales

Svm

Multi-Observation

Facial components

Facial expression recognition

Svm

Multi-Observation

Résumé

Dans un contexte présentiel, un acte de communication comprend des expressions orales et émotionnelles. A partir de l’observation, du diagnostic et de l’identification de l’état émotionnel d’un individu, son interlocuteur pourra entreprendre des actions qui influenceraient la qualité de la communication. A cet égard, nous pensons améliorer la manière dont les individus perçoivent leurs échanges en proposant d’enrichir la CEMO (communication écrite médiatisée par ordinateur) par des émotions ressenties par les collaborateurs. Pour ce faire, nous proposons d’intégrer un système de reconnaissance, en temps réel, des émotions (joie, peur, surprise, colère, dégoût, tristesse, neutralité) à la plate-forme pédagogique “Moodle”, à partir de l’analyse des expressions faciales de l’apprenant à distance lors des activités collaboratives. La reconnaissance des expressions faciales se fait en trois étapes. Tout d’abord, le visage et ses composants (sourcils, nez, bouche, yeux) sont détectés à partir de la configuration de points caractéristiques. Deuxièmement, une combinaison de descripteurs hétérogènes est utilisée pour extraire les traits caractéristiques du visage. Finalement, un classifieur est appliqué pour classer ces caractéristiques en six émotions prédéfinies ainsi que l’état neutre. Les performances du système proposé seront évaluées sur des bases publiques d’expressions faciales posées et spontanées telles que Cohn-Kanade (CK), Karolinska Directed Emotional Faces (KDEF) et Facial Expressions and Emotion Database (FEED).

In face-to-face settings, an act of communication includes verbal and emotional expressions. From observation, diagnosis and identification of the individual's emotional state, the interlocutor will undertake actions that would influence the quality of the communication. In this regard, we suggest to improve the way that the individuals perceive their exchanges by proposing to enrich the textual computer-mediated communication by emotions felt by the collaborators. To do this, we propose to integrate a real time emotions recognition system in a platform “Moodle”, to extract them from the analysis of facial expressions of the distant learner in collaborative activities. There are three steps to recognize facial expressions. First, the face and its components (eyebrows, nose, mouth, eyes) are detected from the configuration of facial landmarks. Second, a combination of heterogeneous descriptors is used to extract the facial features. Finally, a classifier is applied to classify these features into six predefined emotions as well as the neutral state. The performance of the proposed system will be assessed on a public basis of posed and spontaneous facial expressions such as Cohn-Kanade (CK), Karolinska Directed Emotional Faces (KDEF) and Facial Expressions and Emotion Database (FEED).