Clonage réaliste de visage.

Realistic face clone

• Auteur / Autrice : Jérôme Manceau
• Direction : Renaud Séguier, Catherine Soladié
• Type : Thèse de doctorat
• Discipline(s) : Traitement du Signal (STIC)
• Date : Soutenance le 04/05/2016
• Etablissement(s) : CentraleSupélec
• Ecole(s) doctorale(s) : École doctorale Mathématiques, télécommunications, informatique, signal, systèmes, électronique (Rennes)
• Partenaire(s) de recherche : Laboratoire : Institut d'Électronique et de Télécommunications (Rennes)
• Partenaire(s) de recherche : établissement opérateur d'inscription : CentraleSupélec (2015-....)
• Jury : Président / Présidente : Kidiyo Kpalma
• Jury : Examinateurs / Examinatrices : Pascal Bourdon
• Jury : Rapporteurs / Rapporteuses : Mohamed Daoudi, Alain Pruski

Mots clés

Mots clés contrôlés

Modélisation tridimensionnelle

Perception des images

Mots clés libres

Maillage sémantique

Clone de visage

Patchs de profondeur

Détection de patchs

Fusion de patchs

Semantic mesh

Facial clone

Depth patches

Patches detection

Patches fusion

Résumé

Les clones de visage 3D peuvent être utilisés dans de nombreux domaines tels que l'interaction homme-machine et comme prétraitement dans des applications telles que l'analyse de l'émotion. Toutefois, ces clones doivent avoir la forme du visage bien modélisée tout en conservant les spécificités des individus et ils doivent être sémantiques. Un clone est sémantique quand on connaît la position des différentes parties du visage (yeux, nez ...). Dans notre technique, nous utilisons un capteur RVB-Z pour obtenir les spécificités des individus et un modèle déformable de visage 3D pour marquer la forme du visage. Pour la reconstruction de la forme, nous inversons le processus utilisé classiquement. En effet, nous réalisons d'abord le fitting puis la fusion de données. Pour chaque trame de profondeur, nous gardons les parties appropriées de données appelées patchs de forme. Selon le positionnement de ces patchs, nous fusionnons les données du capteur ou les données du modèle déformable de visage 3D. Pour la reconstruction de la texture, nous utilisons des patchs de forme et de texture pour préserver les caractéristiques de la personne. Ils sont détectés à partir des cartes de profondeur du capteur. Les tests que nous avons effectués montrent la robustesse et la précision de notre méthode.

3D face clones can be used in many areas such as Human-Computer Interaction and as pretreatment in applications such as emotion analysis. However, such clones should have well-modeled facial shape while keeping the specificities of individuals and they should be semantic. A clone is semantic when we know the position of the different parts of the face (eyes, nose...). In our technique, we use a RGB-D sensor to get the specificities of individuals and 3D Morphable Face Model to mark facial shape. For the reconstruction of the shape, we reverse the process classically used. Indeed, we first perform fitting and then data fusion. For each depth frame, we keep the suitable parts of data called patches. Depending on the location, we merge either sensor data or 3D Morphable Face Model data. For the reconstruction of the texture, we use shape and texture patches to preserve the person's characteristics. They are detected using the depth frames of a RGB-D sensor. The tests we perform show the robustness and the accuracy of our method.