Photopléthysmographie sans contact pour la Reconnaissance des états émotionnels et du stress

Remote Photoplethymography for emotional state and stress recognition

• Auteur / Autrice : Rita Meziati sabour
• Direction : Fan Yang song, Yannick Benezeth
• Type : Projet de thèse
• Discipline(s) : Instrumentation et informatique de l'image
• Date : Soutenance en 2022
• Etablissement(s) : Bourgogne Franche-Comté
• Ecole(s) doctorale(s) : SPIM - Sciences Physiques pour l'Ingénieur et Microtechniques
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'Imagerie et Vision Artificielle
• Partenaire(s) de recherche : établissement de préparation : Université de Bourgogne (1970-....)
• Jury : Président / Présidente : Anissa Mokraoui
• Jury : Examinateurs / Examinatrices : Emmanuel Dellandréa, Paul Honeine, Yannick Benezeth, Fan Yang
• Jury : Rapporteur / Rapporteuse : Emmanuel Dellandréa, Paul Honeine

Mots clés

Mots clés libres

Photopléthysmographie sans contact

Variabilité cardiaque

Reconnaissance des émotions et du stress

Machine Learning

Deep Learning

Traitement du signal

Remote photoplethysmography

Pulse rate variability

Emotion and stress recognition

Machine Learning

Deep Learning

Signal processing

Résumé

En tant qu’humains, nous faisons constamment face à des stimuli externes et expérimentons différents états émotionnels, ce qui provoque des réactions de notre corps. Le rôle principal du Système Nerveux Autonome (SNA) est de réguler ces réactions afin de retrouver un état d’équilibre. La Variabilité de Pouls Cardiaque (Pulse Rate Variability, PRV) fait partie des réactions physiologiques contrôlées par le SNA. Un signal PRV est obtenu en calculant les différences successives des instants d’occurrence des pulsations contenues dans un signal de pouls. Habituellement, les humains analysent les expressions faciales pour évaluer les émotions de leurs interlocuteurs. Cependant, cette tâche peut s’avérer difficile lors d’une interaction avec une personne ayant une expression faciale neutre. Le premier objectif de cette thèse était de reconnaître les états émotionnels de personnes n’affichant pas d’expressions faciales, en se basant sur leur PRV. Les signaux PRV ont été acquis sans contact en utilisant la technique de la Photopléthysmographie sans contact (Remote Photoplethysmography, RPPG), dont le principe est le suivant : à partir d’une vidéo d’une surface de peau d’une personne (son visage par exemple), les variations du volume sanguin dans les tissus de la peau dans le temps entraînent des changements subtiles de la couleur de la peau. Ces changements contiennent une information pulsatile due à l’activité cardiaque, et permettent d’extraire un signal de pouls. Le deuxième objectif de la thèse a été d’identifier le stress social à partir d’un ensemble de mesures physiologiques acquises avec et sans contact. À cause d’un manque de bases de données adaptées, il a fallu créer une base de données contenant les signaux de 56 personnes. À cause du bruit généré par le mouvement, les signaux cardiaques de certains participants ont dû être éliminés pour nos études. C’est pour cette raison qu’il a été intéressant d’évaluer la possibilité de sélectionner des portions de ces signaux contenant de l’information utile. Ceci a constitué le troisième objectif de cette thèse, et a été réalisé à l’aide de Réseaux de Neurones Récurrents.

As humans, we are constantly facing external stimuli and experiencing several emotional states, which cause reactions in the bodily functions. The main role of the Autonomic Nervous System (ANS) is to control these reactions in order to retrieve its balance state. Pulse Rate Variability (PRV) counts as one of the physiological reactions controlled by the ANS. A PRV signal is obtained as the successive differences of pulsation occurring times contained in a pulse signal. Humans usually analyze facial expressions to evaluate their interlocutor's emotions. Though, this may be challenging when interacting with a person showing neutral facial expressions. The first objective of this thesis was to recognize emotional states of people with absent facial expressions, based on their PRV. PRV was remotely acquired using the Remote Photoplethysmography (RPPG) technique, whose principle is as follows: from a video recording of a person’s skin surface (eg. face), blood variations within the skin tissues over time lead to subtle color changes. These changes contain the pulsatile information due to cardiac activity, and allow the extraction of a pulse signal. The second goal of this thesis was to study social stress by analyzing several physiological measures acquired with and without contact. Due to a lack of adapted and publicly shared datasets, we created a public database proposing data of 56 participants. Some of the collected pulse signals contained noisy portions due to motion, which led us to eliminate these signals during the study. For this reason, finding a solution to include eliminated pulse signals by extracting reliable portions emerged as a third research goal, and was achieved using Recurrent Neural Networks.