Analyse de vidéo pour la détection et la reconnaissance de micro-expressions

Video Analysis for Micro- Expression Spotting and Recognition

• Auteur / Autrice : Hua Lu
• Direction : Kidiyo Kpalma
• Type : Thèse de doctorat
• Discipline(s) : Signal, Image, Vision
• Date : Soutenance le 05/04/2018
• Etablissement(s) : Rennes, INSA
• Ecole(s) doctorale(s) : École doctorale Mathématiques et sciences et technologies de l'information et de la communication (Rennes)
• Partenaire(s) de recherche : Comue : Université Bretagne Loire (2016-2019)
• Partenaire(s) de recherche : Laboratoire : Institut d'Électronique et de Télécommunications (Rennes) - Institut d'Electronique et de Télécommunications de Rennes / IETR
• Partenaire(s) de recherche : Fondation : China scholarship council
• Jury : Président / Présidente : Christophe Rosenberger
• Jury : Examinateurs / Examinatrices : Kidiyo Kpalma, Christophe Rosenberger, Olivier Alata, Mohamed Daoudi, Catherine Soladié, Pascal Bourdon, Joseph Ronsin
• Jury : Rapporteurs / Rapporteuses : Olivier Alata, Mohamed Daoudi

Mots clés

Mots clés contrôlés

Vision par ordinateur

Mots clés libres

Traitement d'image

Reconnaissnace faciale

Micro-expressions

Computer vision

MBH

FMBH

Résumé

Les principales contributions de cette these, en analyse d'image, portent sur l’etude des caracteristiques de reperage et de reconnaissance des micro-expressions. les approches d’analyse d’expressions faciales dans le domaine de la vision par ordinateur consistent a les detecter et a les classer dans des videos. par rapport a la macro-expression, une micro-expression induit dans une partie du visage un changement rapide durant moins d'une demi-seconde. de plus, cette subtile apparition dans une partie du visage rend difficile sa detection et sa reconnaissance. ces dernieres annees ont connu un interet croissant pour des algorithmes d’extraction automatique de micro-expressions faciales. cela a ete motive par des applications dans des contextes a enjeux eleves tels les enquetes criminelles, les points de controle des aeroports et des transports en commun, le contre-terrorisme, … le choix de caracteristiques faciales efficaces joue un role crucial dans l’analyse des micro-expressions.ce travail se concentre sur la partie d’extraction de caracteristiques, en proposant diverses methodes pour les taches de detection et de reconnaissance de micro-expression.la detection constitue la premiere etape dans l'analyse des micro-expressions. les methodes de detection existantes basees sur des caracteristiques, tels les motifs binaires locaux (lbp), l’histogramme de gradients orientes (hog), le flux optique, souffrent de complexite de mise en œuvre entrainant un probleme d'implementation en temps reel. ainsi, dans cette these, une methode de detection basee sur la projection integrale est proposee pour resoudre ce probleme. cependant, toutes les caracteristiques ci-dessus sont extraites des visages recadres et rognees ; ce qui cause, generalement, un decalage residuel entre les images. pour resoudre ce probleme, est proposee une autre methode de detection basee sur des caracteristiques geometriques. cette derniere exploite les distances geometriques entre des points cles du visage sans necessite de recadrer l'image. ceci permet de capturer des deplacements geometriques subtils le long des sequences et s’avere approprie pour differentes taches d’analyse faciale qui requierent une grande vitesse de calcul.parmi les caracteristiques de reconnaissance de micro-expressions existantes, celles de mouvement basees sur le flux optique presentent des avantages dans la caracterisation de mouvements subtils sur le visage. toutefois, il reste difficile de determiner les emplacements precis de chaque mappage de traits du visage entre les differentes trames par flux optique, meme si les images ont ete alignees. un tel probleme peut donner lieu a une mauvaise estimation, a la fois, de l'orientation et de l’amplitude associees au flux optique. pour y pallier, nous proposons une nouvelle approche (dite fmbh) basee sur les histogrammes de frontiere de mouvement (mbh). elle permet de supprimer les mouvements inattendus causes par un mauvais recalage residuel apparaissant entre les images recadrees tout en capturant le mouvement relatif caracterisant la micro-expression. cette caracteristique est generee en combinant les composantes horizontales et verticales du differentiel de flux optique.les differents developpements de ce travail ont conduit a des etudes comparatives avec des approches de l'etat de l'art sur des bases de donnees bien connues et exploitees par la communaute du domaine. les resultats experimentaux, ainsi obtenues, montrent l'efficacite de nos contributions.

Recent years, there has been an increasing interest in the computer vision in automatic facial micro-expression algorithms. this has been driven by applications in high-stakes contexts such as criminal investigations, airport and mass transit checkpoints, counter terrorism, and so on. micro-expression approaches in computer vision area consist of detecting and classifying them from videos. compared to macro-expression, a micro-expression involves a rapid change which lasts less than a half of second, and moreover, its subtle appearance in part of the face makes detection and recognition difficult to achieve. effective facial features play a crucial role for micro-expression analysis. this thesis focuses on the feature extraction parts, by developing various feature extraction methods for types of micro-expression detection and recognition tasks.the detection of micro-expressions is the first step for its analysis. this thesis aims to spot micro-expressions from videos. existing detection methods based on features, such as the local binary patterns, the histogram of gradient, the optical flow suffer difficulties in computation consuming leading to real-time implementation problem. thus, in this thesis, the spotting method based on integral projection to address this problem. however, all the above features are extracted from cropped faces which usually cause residual mis-registration that appears between images. in order to deal with this issue, another detection method based on geometrical feature is proposed. it involves the geometrical distances between facial key-points without the need of cropping face. this captures subtle geometric displacements along sequences and is proved to be suitable for different facial analysis tasks that require high computational speed. for micro-expression recognition, motion features based on the optical flow have advantages in characterizing subtle movements on face among the existing recognition features. it is still a difficult problem for optical flow to determine the accurate locations of each facial feature mappings between different images even though the face images have been aligned. such an issue may give rise to wrong orientation and magnitude estimation associated to the optical flow field. in order to address this problem, the motion boundary histograms are considered. it can remove unexpected motions caused by residual mis-registration that appears between images cropped from different frames. nevertheless, the relative motion can be captured. based on the the motion boundary, a new descriptor the fusion motion boundary histograms is introduced. this feature is generated by combing both the horizontal and the vertical components of the differential of optical flow as inspired from the motion boundary histograms. the main contributions of this thesis lie at the study of features for micro-expressions spotting and recognition. experiments on the micro-expression databases show the effectiveness of the presented contributions.