Neutralisation des expressions faciales pour améliorer la reconnaissance du visage

Cancelling facial expressions for reliable 2D face recognition

• Auteur / Autrice : Baptiste Chu
• Direction : Liming Chen, Sami Romdhani
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 02/03/2015
• Etablissement(s) : Ecully, Ecole centrale de Lyon
• Ecole(s) doctorale(s) : École doctorale InfoMaths (Lyon ; 2009-....)
• Partenaire(s) de recherche : Equipe de recherche : Extraction de Caractéristiques et Identification
• Jury : Président / Présidente : Mohamed Daoudi
• Jury : Examinateurs / Examinatrices : Kevin Bailly, Stéphane Gentric
• Jury : Rapporteur / Rapporteuse : Alice Caplier, Sébastien Marcel

Mots clés

Mots clés contrôlés

Imagerie tridimensionnelle

Perception des visages

Mots clés libres

Reconnaissance de visage

Expression

Pose

Modèle déformable 3D

Neutralisation

Video

Face Recognition

Expression

Pose

3D Morphable Model

Neutralization

Video

Résumé

Les variations de pose et d’expression constituent des limitations importantes à la reconnaissance de visages en deux dimensions. Dans cette thèse, nous proposons d’augmenter la robustesse des algorithmes de reconnaissances faciales aux changements de pose et d’expression. Pour cela, nous proposons d’utiliser un modèle 3D déformable de visage permettant d’isoler les déformations d’identité de celles relatives à l’expression. Plus précisément, étant donné une image de probe avec expression, une nouvelle vue synthétique du visage est générée avec une pose frontale et une expression neutre. Nous présentons deux méthodes de correction de l’expression. La première est basée sur une connaissance a priori dans le but de changer l’expression de l’image vers une expression neutre. La seconde méthode, conçue pour les scénarios de vérification, est basée sur le transfert de l’expression de l’image de référence vers l’image de probe. De nombreuses expérimentations ont montré une amélioration significative des performances et ainsi valider l’apport de nos méthodes. Nous proposons ensuite une extension de ces méthodes pour traiter de la problématique émergente de reconnaissance de visage à partir d’un flux vidéo. Pour finir, nous présentons différents travaux permettant d’améliorer les performances obtenues dans des cas spécifiques et ainsi améliorer les performances générales obtenues grâce à notre méthode.

Expression and pose variations are major challenges for reliable face recognition (FR) in 2D. In this thesis, we aim to endow state of the art face recognition SDKs with robustness to simultaneous facial expression variations and pose changes by using an extended 3D Morphable Model (3DMM) which isolates identity variations from those due to facial expressions. Specifically, given a probe with expression, a novel view of the face is generated where the pose is rectified and the expression neutralized. We present two methods of expression neutralization. The first one uses prior knowledge to infer the neutral expression from an input image. The second method, specifically designed for verification, is based on the transfer of the gallery face expression to the probe. Experiments using rectified and neutralized view with a standard commercial FR SDK on two 2D face databases show significant performance improvement and demonstrates the effectiveness of the proposed approach. Then, we aim to endow the state of the art FR SDKs with the capabilities to recognize faces in videos. Finally, we present different methods for improving biometric performances for specific cases.