Analysis, 3D reconstruction and animation of faces

• Auteur / Autrice : Charlotte Ghys
• Direction : Nikos Paragios, Bénédicte Bascle
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance en 2010
• Etablissement(s) : Marne-la-Vallée, ENPC
• Partenaire(s) de recherche : Laboratoire : Laboratoire CERTIS
• Partenaire(s) de recherche : Entreprise : Laboratoire IRIS (Orange/France Telecom R&D)
• Jury : Examinateurs / Examinatrices : Michel Barlaud, Renaud Keriven
• Jury : Rapporteur / Rapporteuse : Maja Pantic, Dimitris Samaras

Mots clés

Mots clés contrôlés

Reconnaissance des formes (informatique)

Anthropométrie

Markov, Processus de

Résumé

L’analyse du visage est un sujet très étudié dans de nombreux domaines : In-teraction Homme Machine, sécurité, post-production cinématographique, jeux vidéo. . . Cela comprend la détection, la reconnaissance, la reconstruction 3D, l’ani-mation et l’analyse d’émotions. L’animation du visage a été la motivation princi-pale durant toute la thèse. Nous nous intéressons à la plupart des domaines liésau visage : tout d’abord la reconstruction 3D et la modélisation de visage, avecun nouveau modèle de visage. Ensuite, nous introduisons des contraintes anthro-pométriques par champs de Markov pour la détection globale de points d’inté-rêts. Partant de contraintes anthropométriques, nous sommes capables d’estimerla pose 3D du visage à partir d’une seule image, et de l’étendre au suivi du vi-sage. L’analyse d’émotion conclut notre travail : nous présentons une techniquede modélisation d’expression définie comme une série temporelle et proposons del’utiliser pour la prédiction d’émotions.

Face analysis fields are widely spread out over a large quantity of domains :Human Computer Interaction, security, movies post-production, games. . . It in-cludes detection, recognition, 3D reconstruction, animation, and emotion analy-sis. Face animation was the main motivation of this thesis, and we always kept itin mind at anytime. We discuss here, most of the fields. We first talk about face reconstructionand face modeling with a new model inspired by the Candide Model. Then, weaddress face detection and particularly features detection introducing anthropome-tric constraints in a global scheme through a Markov Random Field formulation. From prior constraints, we are able to estimate the 3d pose of a face from a singleimage and to extend it to motion tracking. We conlude our work with emotion ana-lysis. We propose an expression modelling technique defined as time series, andwe present our 3D database for face expression. We present the state of the art ofemotion recognition. And we finally invoke the use of our expression modellingtechnique as a prediction to be compared with the data in time.