Segmentation des traits du visage, analyse et reconnaissance d'expressions faciales par le modèle de croyance transférable

Facial features segmentation, analysis and recognition of facial expressions using the transferable belief model

• Auteur / Autrice : Zakia Hammal
• Direction : Alice Caplier
• Type : Thèse de doctorat
• Discipline(s) : Sciences cognitives
• Date : Soutenance en 2006
• Etablissement(s) : Université Joseph Fourier (Grenoble ; 1971-2015)
• Partenaire(s) de recherche : Laboratoire : Laboratoire des images et des signaux (Grenoble1998-2007)

Mots clés

Mots clés contrôlés

Traitement d'images -- Techniques numériques

Iris (anatomie)

Mots clés libres

Sourcils

Expressions faciales

Modèle de croyance transférable

Expressions vocales

Résumé

L'objectif de ce travail est l'analyse et la classification d'expressions faciales. Des expériences en psychologie ont permis de mettre en évidence le fait que l'être humain est capable de reconnaître les émotions sur un visage à partir de la visualisation de l'évolution temporelle de certains points caractéristiques de celui-ci. Nous avons donc tout d'abord proposé un système d'extraction automatique des contours des traits permanents du visage (yeux, sourcils et lèvres). Dans ce travail nous nous intéressons au problème de la segmentation des yeux et des sourcils. La segmentation des contours des lèvres est basée sur un travail précédent développé au sein du laboratoire. L'algorithme proposé pour l'extraction des contours des yeux et des sourcils est constitué de trois étapes : d'abord la définition de modèles paramétrique pour modéliser au mieux le contour de chaque trait ; ensuite, les modèles choisis sont initialisés sur les images à segmenter grâce à l'extraction d'un ensemble de points caractéristiques ; enfin, les modèles initiaux sont ajustés finement en tenant compte d'information de gradient de luminance. La segmentation des contours des yeux, des sourcils et des lèvres conduit à ce que nous appelons des squelettes d'expressions. Pour mesurer la déformation des traits caractéristiques, cinq distances caractéristiques sont définies sur ces squelettes basé sur l'état de ces distances un ensemble de règles logiques est défini pour chacune des expressions considérées : Sourire, Surprise, Dégo-ut, Corere, Peur, Tristesse, Neutre. Ces règles sont compatibles avec la norme MPEG-4 qui fournit une description des transformations subies par chacun des traits du visage lors de la production des six expressions faciales universelles. Cependant le comportement humain n'étant pas binaire, une expression pure est rarement produite. Pour pouvoir modéliser le doute entre plusieurs expressions et le cas des expressions inconnues, le Modèle de Croyance Transférable est utilisé comme processus de fusion pour la classification des expressions faciales. Le system de reconnaissance d'eveloppé tient compte de l'évolution au cours du temps des d'eformations des traits du visage. Dans la perspective d'un système audio-visuel de reconnaissance d'expressions émotionelles, une étude préliminaire sur des expressions vocales a aussi été menée.

The aim of this work is the analysis and the classification of facial expressions. Experiments in psychology show that hum an is able to recognize the emotions based on the visualization of the temporal evolution of sorne characteristic fiducial points. Thus we firstly propose an automatic system for the extraction of the permanent facial features (eyes, eyebrows and lips). Ln this work we are interested in the problem of the segmentation of the eyes and the eyebrows. The segmentation of lips contours is based on a previous work developed in the laboratory. The proposed algorithm for eyes and eyebrows contours segmentation consists of three steps : firstly, the definition of parametric models to fit as accurate as possible the contour of each feature ; then, a whole set of characteristic points is detected to initialize the selected models in the face ; finally, the initial models are finally fitted by taking into account the luminance gradient information. The segmentation of the eyes, eyebrows and lips contours leads to what we cali skeletons of expressions. To measure the characteristic features deformation, five characteristic distances are defined on these skeletons. Based on the state of these distances a whole set of logical rules is defined for each one of the considered expression : Smile, Surprise, Disgust, Anger, Fear, Sadness and Neutral. These rules are compatible with the standard MPEG-4 which provides a description of the deformations undergone by each facial feature during the production of the six universal facial expressions. However the human behavior is not binary, a pure expression is rarely produced. To be able to model the doubt between several expressions and to model the unknown expressions, the Transferable Belief Model is used as a fusion process for the facial expressions classification. The classification system takes into account the evolution of the facial features deformation in the course of the time. Towards an audio-visual system for emotional expressions classification, a reliminary study on vocal expressions is also proposed.