L'Utilisation des Méthodes d'Apprentissage Profond au service de l’Édition d’Animation Faciale 3D

Leveraging Neural Networks for 3D Facial Animation Editing

• Auteur / Autrice : Eloise Berson
• Direction : Renaud Séguier
• Type : Thèse de doctorat
• Discipline(s) : Signal, Image, Vision
• Date : Soutenance le 22/01/2021
• Etablissement(s) : CentraleSupélec
• Ecole(s) doctorale(s) : École doctorale Mathématiques et sciences et technologies de l'information et de la communication (Rennes)
• Partenaire(s) de recherche : Laboratoire : Institut d'Électronique et de Télécommunications (Rennes)
• Jury : Président / Présidente : Edmond Boyer
• Jury : Examinateurs / Examinatrices : Saïda Bouakaz, Damien Rohmer, Catherine Soladié, Nicolas Stoiber
• Jury : Rapporteur / Rapporteuse : Saïda Bouakaz, Damien Rohmer

Mots clés

Mots clés contrôlés

Réseaux neuronaux (informatique)

Apprentissage profond

Animation par ordinateur

Mots clés libres

Animation Faciale

Édition d’animation

Apprentissage Profond

Facial Animation

Animation Editing

Deep Learning

Résumé

L’animation faciale vise à mouvoir des personnages virtuels afin de leur donner vie. Or, produire une animation convaincante qui trompe l’œil des humains, reste une tâche fastidieuse. Le développement des technologies de capture de mouvement ont facilité la génération d’animations de haute qualité. La promesse de ces technologies est de parfaitement capturer et retranscrire toute la subtilité des mouvements faciaux et du signal expressif et émotionnel qu'il diffuse. En pratique, même les systèmes les plus aboutis échouent à accomplir ce rôle parfaitement. Or, l’édition d’une animation reste un processus très coûteux qui requiert un savoir-faire et une grande quantité de travail pour répondre aux exigences de qualités attendues. Nous proposons d’améliorer le processus d’édition en mettant à profit les récentes méthodes d’apprentissage qui permettent de produire en grande quantité des animations convaincantes. Ces méthodes apprennent les caractéristiques et les spécificités des dynamiques du visage afin de les reproduire lors de la synthèse de nouvelles animations. Nous proposons une nouvelle méthode de filtrage d’animation qui apprend à nettoyer et même restaurer les dynamiques des différents paramètres d’animation. Nous proposons également de nouvelles possibilités de modifier une animation et de diriger sa synthèse par des paramètres de contrôle originaux, intuitifs et sémantiques. Nous présentons un système, robuste et interactif, permettant de piloter des mouvements du visage à partir de peu de signaux temporels et intuitifs. Enfin, nous exploitons les méthodes génératives pour créer une méthode de synthèse d’animation, non ou faiblement supervisée.

Facial animation consists of breathing life into computer graphic characters. The major challenge of facial animation is to fool the human's eyes, very acute at recognizing natural motion. The emergence and increasing availability of motion capture technologies have opened a new era, where realistic animation generation is more deterministic and repeatable. The theoretical promise of MoCap is the ability to capture and retarget human performances completely. In reality, even professional motion capture setups often fall short of a perfect animation. Animation editing is therefore unavoidable and frequently the bottleneck of modern performance-based animation pipelines, requiring a considerable amount of time and special skills. We propose to improve the facial animation signal editing process by leveraging the recent deep learning techniques. These methods enable producing realistic motion sequences, endowed with all the specificities included in the real animation used for the training. We adopt this technology to enhance the cleaning facial animation editing process, providing a solution preserving and even restoring the facial motion dynamics. We also explore new possibilities to synthesize facial animations from alternative high-level control inputs, more semantic and intuitive than the current standard animation parameters. Pushing forward the motion editing toward user controllability, we provide a robust and interactive regressive method to modify a facial animation efficiently from temporally dense parameters. To bypass the limitations of regression algorithms, we propose a generative framework suitable for unsupervised and supervised motion editing.