Design et Évaluation de Systèmes 3D pour la Transmission de Mouvement Dansé

Design and Evaluation of 3D Systems for Movement Transmission inDance

• Auteur / Autrice : Manon Vialle
• Direction : Emmanuelle Crépeau-Jaisson, Sarah Fdili Alaoui, Mélina Skouras
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 11/12/2023
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale Mathématiques, sciences et technologies de l'information, informatique (Grenoble ; 1995-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Jean Kuntzmann (Grenoble)
• Partenaire(s) de recherche : Equipe de recherche : Equipe de recherche Ingénierie de l'interaction homme-machine (Grenoble ; 1989-....)
• Jury : Président / Présidente : Laurence Nigay
• Jury : Examinateurs / Examinatrices : Katerina El Raheb, Caroline Larboulette
• Jury : Rapporteur / Rapporteuse : Antonio Camurri, Michael Neff

Mots clés

Mots clés contrôlés

Reconnaissance gestuelle

Réalité augmentée

Mots clés libres

Réalité Augmentée

Danse

Visualisation de mouvement

Animation par ordinateur

Rubans

Augmented Reality

Dance

Movement visualization

Computer animation

Ribbons

Résumé

Dans cette thèse, mon objectif est de concevoir et d'évaluer des systèmes 3D pour la transmission du mouvement en danse. J'explore la transmission de la danse à travers deux dimensions : la transmission de certains aspects spécifiques d'un style de danse aux danseurs, et la transmission d'une animation de danse d'un personnage virtuel animé à un autre.Lors de la transmission d'aspects spécifiques d'un style de danse aux danseurs, j'ai collaboré avec une danseuse experte dans le style d'Isadora Duncan pour créer des systèmes 3D en réalité augmentée. Une première contribution réside dans la co-conception, la mise en œuvre technique et l'évaluation avec les danseurs d'un artefact virtuel qui transmet la fluidité du mouvement. Ce système permet de visualiser des rubans en forme d'étoile joints au plexus solaire, animés à partir de données de capture de mouvement des danses d'Isadora Duncan. L'animation est crée via un algorithme d'optimisation. L'évaluation s'est déroulée sous la forme d'ateliers et a montré un grand potentiel du système pour transmettre les qualités du mouvement d'Isadora Duncan qu'une représentation de type humain ou basée sur un squelette échoue à transmettre.Sur la base des retours de la première contribution, j'ai co-conçu avec la même danseuse experte un second système qui vise à aider la perception de la spatialisation de la danse en réalité augmentée. Cette deuxième contribution réside dans la conception et l'évaluation du système. Avec la danseuse experte, nous nous sommes inspirées de la notation Sutton pour créer un système qui visualise des pose clés animées à partir de la danse et la trace du plexus solaire dans l'espace. J'ai ensuite mené une observation structurée pour évaluer les différences dans le nombre d'images clés affichées en même temps. Mes résultats montrent le potentiel de la réalité augmentée à des fins pédagogiques.La dernière contribution de cette thèse, qui représente des travaux préliminaires, réside dans le deuxième aspect de la transmission de la danse : la transmission de la danse animée d'un personnage virtuel à un autre. J'ai créé un système qui prend en entrée des données de capture de mouvement d'une danse et les transfère à un autre corps qui peut avoir une morphologie différente. Pour ce faire, je génère d'abord des rubans à partir des données de capture de mouvement (squelette animé ou ensemble de marqueurs). Ensuite, j'associe chaque ruban à une chaîne articulée du squelette cible. Enfin, j'applique l'animation contenue dans les rubans sur le squelette cible à l'aide d'un algorithme d'optimisation.

In this thesis, I aim at designing and evaluating 3D Systems for movement transmission in dance. I explore dance transmission through two dimensions: transmission of specific aspects of a dance style to dancers, and transmission of the animated dance from one virtual animated character to another.When transmitting specific aspects of a dance style to dancers, I collaborated with a connoisseur dancer in Isadora Duncan’s style to create 3D systems in augmented reality. A first contribution is the co-design, technical implementation, and evaluation with dancers of an artifact that transmits the fluidity of movement. This system visualizes star-shaped ribbons joined at the solar plexus animated from motion-captured data of Isadora Duncan’s dances. The animation is performed using an optimization-based algorithm. The evaluation took place as a series of workshop and showed great potential for the system to transmit the qualities of Isadora Duncan’s movement that a human-like or skeleton-based representation fail to transmit.Based on the feedback of the first contribution, I co-designed with the same connoisseur dancer another system that supports the perception of spatiality in dance in augmented reality. This second contribution lies in the design and evaluation of the system. Along with the expert dancer, I took inspiration from the Sutton notation to create a system that visualizes animated keyframes of the dance and the trace of the solar plexus in space. I then ran a structured observation to evaluate the differences in the number of keyframes displayed at the same time. My results show the potential of augmented reality for pedagogical purposes.The last contribution of this thesis, representing preliminary work, lies in the second aspect of dance transmission: transmission of the animated dance from one virtual animated character to another. I created a system that takes as an input motion-captured data of a dance and transfers it to another body that can have a different morphology. To achieve this, I first generate ribbons from the motion-captured data (animated rig or set of markers). Then I match each ribbon with an articulated chain of the target rig. Lastly, I apply the animation contained in the ribbons onto the target rig, using an optimization algorithm.