Transfert d'animation : animer des personnages virtuels par le jeu et le mime

Performance transfer : animating virtual charaters by playing and acting.

• Auteur / Autrice : Maxime Garcia
• Direction : Rémi Ronfard
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques et informatique
• Date : Soutenance le 19/12/2019
• Etablissement(s) : Université Grenoble Alpes (ComUE)
• Ecole(s) doctorale(s) : École doctorale Mathématiques, sciences et technologies de l'information, informatique (Grenoble ; 1995-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Jean Kuntzmann (Grenoble)
• Jury : Président / Présidente : Joëlle Thollot
• Jury : Examinateurs / Examinatrices : Sylvie Gibet, Sarah Fdili Alaoui
• Jury : Rapporteurs / Rapporteuses : Yiorgos Chrysanthou, Julien Pettré

Mots clés

Mots clés contrôlés

Figurines

Animation par ordinateur

Transfert

Mots clés libres

Transfert

Personnage

Virtuel

Storytelling

Animation

Stylisation

Performance

Animation

Transfer

Act

Storytelling

Stylization

Résumé

Durant les dernières décennies, l'animation 3D s'est largement intégrée à notre vie quotidienne, que cela soit dans le domaine du jeu vidéo, du cinéma ou du divertissement plus généralement.Malgré son utilisation rependue, la création d'animation reste réservés à des animateurs expérimentés et n'est pas à la portée de novices. Par ailleurs, le processus de création d'animation doit respecter une pipeline très stricte : après une première phase de storyboarding et de design des personnages, ceux-ci sont ensuite modélisés, riggés et grossièrement positionnés dans l'espace 3D permettant de créer un premier brouillon d'animation. Les actions et mouvements des personnages sont ensuite décomposés en keyframes interpolées, constituant l'animation finale. Le processus de keyframing est difficile et nécessite, de la part des animateurs, beaucoup de temps et d'effort, notamment pour la retouche de chaque courbe d'animation liée à un degré de liberté d’un personnage, et ceci pour chaque action. Ces dernières doivent aussi être correctement séquencées au cours du temps afin de transmettre les intentions des personnages et leur personnalité. Certaines méthodes telle que la motion capture rendent le processus de création plus aisé en transférant le mouvement de véritables acteurs aux mouvements de personnages virtuels. Cependant, ces animations transférées manquent souvent d'expressivité et doivent être rectifiées par des animateurs.Dans cette thèse, nous introduisons une nouvelle méthode permettant de créer aisément des séquences d'animation 3D à partir d’une base de donnée d'animations individuelles comme point de départ. En particulier, notre travail se concentre dans l'animation de personnages virtuels reproduisant une histoire jouée avec des objets physiques tels que des figurines instrumentées par des capteurs. Notre principal objectif est de calculer des animations plausibles et expressives depuis les données retournées par les capteurs dans le but de transformer l'histoire racontée par le narrateur et ses figurines en une animation 3D. Afin d'atteindre cet objectif, nous proposons un nouveau pipeline d'animation, analysant et traduisant le mouvement des mains en séquence d'animations adaptées à leur trajectoire espace-temps ainsi qu'à leur qualité de mouvement. Nous présentons un descripteur de mouvement invariant par translation, rotation et passage à l'échelle permettant à notre système de reconnaître des actions exécutées par l'utilisateur ; nous présentons également deux classificateurs reconnaissant les qualités du mouvement en tant qu'Effort de Laban. Nous introduisons un nouveau modèle d'animation procédural inférant l'expressivité de la qualité de mouvement de la main en tant qu'Effort de la Laban Temps et Poids. Enfin, nous étendons le système afin de permettre la manipulation de plusieurs personnages en même temps, en détectant et transférant des interactions entre personnages tout en étant fidèle aux qualités de mouvement du narrateur et permettant aux personnages d'agir selon des comportements prédéfinis, laissant l'utilisateur exprimer sa créativité.Les capacités de notre système ont été évaluées a travers plusieurs études utilisateurs durant lesquelles des novices ont pu suivre un script ou ont librement improvisé des histoires a deux figurines.Nous concluons avec une discussion sur les futures directions de recherche.

During the past decades 3D animation widely spread into our everyday life being for entertainment such as video games or movies, or for communication more generally.Despite its common use, creating animations is still dedicated to skilled animators and not within reach of non-experts. In addition, the creation process traditionally follow a strict pipeline: after the initial storyboarding and character design phases, articulated characters are modeled, rigged and roughly positioned in 3D, at which point the layout of their relative poses can be established. Then, their actions and movements are broken down into keyframes which are interpolated to produce the final animation.Keyframing animations is a hard process during which animators need to spend time and efforts carefully tuning animation curves for each character's degrees of freedom and for each specific action. They also need to consistently sequence these actions over time in order to convey the desired character's intentions and personality.Some methods such as motion capture, aim at easing the creation process by directly transferring real recorded human motions to virtual characters. However, output animations still lack expressiveness and must be fixed by animators.In this thesis, we propose a way of easing the process of creating animation sequences starting from a database of individual animations. We focus on animating virtual characters reproducing a story played with props such as figurines instrumented with sensors. The main goal of this thesis is to compute expressive and plausible animations from the data provided by the sensors in order to transpose the story told by the narrator and its figurines into the virtual world. To reach this goal, we propose a new animation pipeline analyzing and transcribing hands motion into a sequence of animations adapted to the user hand space-time trajectories and their motion qualities. We present a new translation, rotation and scale invariant motion descriptor allowing our system to perform action recognition as well as two different classifiers extracting Laban Effort motion qualities from an input curve.We also introduce a new procedural animation model inferring expressiveness fitting the narrator's hand motion qualities in terms of Laban Time and Weight Effort. Finally, we extend our system such that it can process multiple characters at a time, detecting and transferring interactions as well as making characters act with respect to pre-defined behaviors, letting users express their narrative creativity.Our system capabilities were tested through different user studies during which non expert users could follow a script or freely improvise stories with two figurines at a time.We conclude with a discussion of future research directions.