Système de détection automatique de risques par traitement de signaux audiovisuels

Automatic risk detection system by audiovisual signal processing

• Auteur / Autrice : Ilyes Bendjoudi
• Direction : Frédéric Vanderhaegen, Denis Hamad
• Type : Thèse de doctorat
• Discipline(s) : Automatique et traitement du signal
• Date : Soutenance le 10/12/2021
• Etablissement(s) : Valenciennes, Université Polytechnique Hauts-de-France
• Ecole(s) doctorale(s) : École doctorale polytechnique Hauts-de-France (Valenciennes, Nord ; 2021-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'automatique, de mécanique et d'informatique industrielles et humaines (Valenciennes, Nord ; 1994-...)
• Partenaire(s) de recherche : Etablissement délivrant conjointement le doctorat : Institut national des sciences appliquées Hauts-de-France (Valenciennes, Nord ; 2019-....)
• Jury : Président / Présidente : Fadi Dornaika
• Jury : Examinateurs / Examinatrices : Frédéric Vanderhaegen, Denis Hamad, Bogdan Raducanu, Choubeila Maaoui
• Jury : Rapporteur / Rapporteuse : Bogdan Raducanu, Choubeila Maaoui

Mots clés

Mots clés contrôlés

Apprentissage profond

Reconnaissance automatique des émotions

Mots clés libres

Apprentissage automatique

Apprentissage profond

CNN

Reconnaissance d'émotions

Détetection de risques

Rupture émotionnelle

Machine Learning

Deep Learning

CNN

Emotion recognition

Risk detection

Emotional Breakdown

Résumé

L'analyse automatique du comportement humain connait un intérêt croissant en psychologie, linguistique, neuroscience, informatique et en automatique. Cet intérêt prend encore plus d'ampleur au vu des récents succès des algorithmes d'apprentissage automatique dans les t^aches de perception. Comme l'expression du visage et l'intonation de la voix sont des données représentatives de l'état émotionnel d'une personne, notre travail vise à détecter et prédire des situations à risque en analysant l'état cognitif d'un opérateur humain à partir de signaux audio-visuels. Dans ce travail, nous discutons les différentes approches et techniques d'apprentissage automatique pour la reconnaissance d'émotions. Nous montrons ce que les réseaux de neurones à apprentissage profond, en particulier les réseaux de neurones convolutifs, ont apporté à la reconnaissance d'émotions dans un contexte multi-label et multi-tâche. Dans le cadre de la reconnaissance d'émotions à partir d'images en prenant en considération le contexte dans lequel se déroule l'action, nous proposons une architecture originale pour l'extraction des attributs caractéristiques : un module corps, réseau Xception, est dédié à l'extraction d'attributs des émotions de la personne et un module scène, réseau VGG16 modifié, pour l'extraction des attributs de la scène entière. Les sorties de ces deux modules constituent les entrées d'un 3e module, réseau multicouche, composé d'une partie fusion des deux vecteurs de caractéristiques et d'une partie décision pour la reconnaissance d'émotions. Nous présentons aussi une architecture pour la reconnaissance d'émotions à partir de la voix. Nous introduisons le principe du ''Fingerprint'' de l'état émotionnel et le concept de rupture émotionnelle qui sera un indicateur d'un changement brutal et inattendu de l'état émotionnel. Les résultats obtenus lors d'un processus expérimental sont discutés.

The automatic analysis of human behavior is experiencing an unprecedented interest in psychology, linguistics, neuroscience, computer science and automation. This interest is further enhanced by the recent success of machine learning algorithms in perceptual tasks. Since facial expression and voice intonation are representative of a person's emotional state, our work aims at detecting and predicting risky situations by analyzing the cognitive state of a human operator from audio-visual signals. In this work, we discuss the di_erent approaches and techniques of machine learning for emotion recognition. We show how deep learning neural networks, in particular convolutional neural networks, have contributed to emotion recognition in a multi-label and multi-task context. For imagebased emotion recognition, taking into account the context in which the action takes place, we propose an original architecture for the extraction of characteristic attributes: a body module, Xception network, is dedicated to the extraction of attributes of the person's emotions and a scene module, modi_ed VGG16 network, for the extraction of attributes of the whole scene. The outputs of these two modules constitute the inputs of a 3rd module, a multilayer network, composed of a fusion part of the two feature vectors and a decision part for emotion recognition. We also present an architecture for voice-based emotion recognition. We introduce the principle of the ''Fingerprint'' of the emotional state and the concept of emotional breakdown which will be an indicator of a sudden and unexpected change of the emotional state. The results obtained in an experimental process are discussed.