Construction non supervisée d'un modèle expressif spécifique à la personne

Unsupervised computation of a person-specific model of expressions

• Auteur / Autrice : Raphaël Weber
• Direction : Renaud Séguier
• Type : Thèse de doctorat
• Discipline(s) : Signal, Image, Vision
• Date : Soutenance le 23/11/2017
• Etablissement(s) : CentraleSupélec
• Ecole(s) doctorale(s) : École doctorale Mathématiques et sciences et technologies de l'information et de la communication (Rennes)
• Partenaire(s) de recherche : Laboratoire : Institut d'Électronique et de Télécommunications (Rennes)
• Jury : Président / Présidente : Catherine Pelachaud
• Jury : Examinateurs / Examinatrices : Alice Caplier, Sylvie Gibet, Nicolas Sabouret, Catherine Soladié
• Jury : Rapporteurs / Rapporteuses : Alice Caplier, Sylvie Gibet

Mots clés

Mots clés contrôlés

Personnes âgées -- Protection, assistance, etc.

Capture des mouvements de la tête

Expression du visage

Mots clés libres

Expressions faciales

Modèle spécifique à la personne

Non supervisé

Modèle continu

Variété

Facial expressions

Person-specific model

Unsupervised

Continuous model

Manifold

Résumé

L'analyse automatique des expressions faciales connaît un intérêt grandissant ces dernières décennies du fait du large champ d'applications qu'elle peut servir. Un des domaines d'applications visé est le médical avec notamment l'analyse automatique des variations de comportement pour le maintien à domicile des personnes âgées.Cette thèse propose un modèle expressif continu spécifique à la personne construit de manière non supervisée (i.e. sans connaissance a priori sur la morphologie du sujet) pour répondre à ce besoin d'analyse automatique. Notre système doit être capable d'analyser les expressions faciales dans un environnement non contraint en termes de pose de la tête de parole.Les travaux réalisés se basent sur des travaux existants sur la représentation invariante des expressions faciales. Le modèle sur lequel nous nous basons nécessite l'acquisition du visage neutre, il est donc construit de manière supervisée. De plus, il est construit sur des expressions de base synthétisées à partir du visage neutre, il ne rend donc pas compte des expressions faciales réelles du sujet. Nous proposons dans cette thèse de rendre la construction de ce modèle non supervisée en détectant automatiquement le visage neutre et d'adapter le modèle automatiquement aux expressions faciales réelles du sujet de manière non supervisée. L'idée de l'adaptation est de détecter, à la fois globalement et localement, les expressions de base réelles du sujet afin de remplacer les expressions de base synthétisées du modèle puis de les affiner, tout en maintenant un ensemble de contraintes.Nous avons testé notre système d'adaptation sur des expressions posées, des expressions spontanées dans un environnement contraint et des expressions spontanées dans un environnement non contraint. Les résultats montrent l'efficacité de l'adaptation et l'importance de l'étape de vérification des contraintes lors des tests dans un environnement non contraint.

Automatic facial expression analysis has gained a growing interest in the past decades as a result of the wide range of applications that are covered. Medical applications have been considered, notably for automatic behavior analysis for eldery home support.This thesis proposes to compute a continuous person-specific model of expressions in an unsupervized manner (i.e. with no prior knowledge on the morphology of the subject) in order to meet the needs of automatic behavior analysis. Our system must be able to analyze facial expressions in an unconstrained environment in terms of head pose and speaking.This thesis is based on previous work on invariant representation of facial expressions. In this previous work, the computation of the model requires the acquisition of the neutral face, so the model is weakly supervised. Moreover, it is computed with synthesized expressions, so it does note account for the real facial expressions of the subject. We propose in this thesis to make the computation unsupervised by automatically detecting the neutral face and then by automatically adapting the model to the real facial expressions of the subject in an unsupervised manner. The idea of the adaptation is to detect, both globally and locally, the real basic expressions of the subject in order to replace the synthesized basic expressions of the model, while maintaining a set of constraints.We have tested our method of adaptation on posed expressions, spontaneous expressions in a constrained environment and spontaneous expressions in an unconstrained environment. The results show the efficiency of the adaptation and the importance of the set of constraints for the test in an unconstrained environment.