Text-to-Movie création de leçons d'anatomie

Text-to-Movie authoring of anatomy lessons

• Auteur / Autrice : Vaishnavi Ameya Murukutla
• Direction : Olivier Palombi, Rémi Ronfard
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 07/12/2021
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale mathématiques, sciences et technologies de l'information, informatique (Grenoble ; 199.-....)
• Partenaire(s) de recherche : Laboratoire : Institut national de recherche en informatique et en automatique (France). Centre de recherche de l'université Grenoble Alpes - Laboratoire Jean Kuntzmann (Grenoble)
• Partenaire(s) de recherche : Equipe de recherche : Equipe-projet Création et mise en scène des univers narratifs animés (Montbonnot, Isère ; 2020-....)
• Jury : Président / Présidente : Marie-Christine Rousset
• Jury : Examinateurs / Examinatrices : Philippe Joly, Nady El Hoyek
• Jury : Rapporteurs / Rapporteuses : Marc Braun, Pierre-Antoine Champin

Mots clés

Mots clés contrôlés

Multimédias interactifs

Anatomie humaine

Logiciels -- Développement

Mots clés libres

Anatomie

Pedagogy

Text-To-Movie

Anatomy

Pedagogy

Text-To-Movie

Résumé

L'anatomie est une matière essentielle dans les études de santé mais aussi l’une des plus difficiles à enseigner. Elle fait partie des bases fondamentales, enseignées en début de cursus, qui sont utiles tout au long de la formation et dans la pratique professionnelle. L'un des défis majeurs de l’enseignement de l'anatomie consiste à transmettre des connaissances complexes en trois dimensions. Les méthodes multimédias telles que les vidéos animées et les modèles anatomiques en 3D sont très utilisées pour visualiser le corps humain. Mais la question du développement d'un logiciel facile à utiliser qui permettrait aux enseignants de créer leurs propres leçons sans avoir besoin d'experts en conception cinématographique et en 3D est toujours d'actualité. Dans cette thèse, nous présentons un système original de création d’un film pédagogique d’anatomie à partir d’un texte saisi par les professeurs d'anatomie. Nous fournissons la solution en trois parties. Nous présentons d'abord un langage formel pour décrire tous les éléments visuels d'une vidéo. Ce langage est à la fois lisible par l'homme et par la machine et il nous permet d'annoter la vidéo sous forme de texte. Ce langage Prose Storyboard Language (PSL) est développé pour une utilisation plus large dans la réalisation et l'analyse de films. Dans la deuxième partie de la thèse, nous présentons la spécialisation anatomique de ce langage appelée Anatomy Storyboard Language (ASL). Ce langage spécifique au domaine constitue la base de l'entrée de notre système de création. Les utilisateurs doivent écrire des scripts en ASL dans lesquels ils énumèrent toutes les parties qu'ils veulent montrer dans la vidéo et indiquent les directions pour les mouvements de caméra et l'animation des éléments vus. Notre système lit le script et l'animation qui en résulte est jouée dans un lecteur Unity (scène 3D). Dans la dernière partie de la thèse, nous présentons les résultats de notre évaluation du logiciel réalisée avec quatre professeurs d'anatomie. Les professeurs ont pu réaliser leurs propres leçons vidéo animées et narrées sur le genou et leur expérience limitée en matière d'animation ou de montage vidéo ne les a pas freinés. Le choix du texte, comme entrée, a été particulièrement adapté car les professeurs n'ont pas eu à apprendre une nouvelle interface utilisateur, souvent intimidante, pour un logiciel de conception, ce qui rend notre système intuitif et facile à apprendre.

Anatomy is one of the most essential yet challenging subjects in medical education. It is introduced very early in the curriculum, and the student is required to retain this knowledge throughout their practice. One of the significant challenges faced in anatomy pedagogy is presenting complex three-dimensional body parts in classes. Multimedia methods such as animated videos and 3D anatomical models are popular to visualise the human body. But the issue of developing an easy to use software that enables teachers to create their own lessons without the need for design experts is ongoing. In this thesis, we present a Text-to-movie authoring system for anatomy professors. We provide the solution in three parts. We first present a formal language to describe all the visual elements in a video. This language is both human and machine-readable, and it allows us to annotate the video in text form. This Prose Storyboard Language (PSL) is developed for broader use in film direction and analysis. In the second part of the thesis, we present the anatomical specialisation of this language called the Anatomy Storyboard Language (ASL). This domain-specific language forms the basis of input for our authoring system. The users have to write scripts in ASL in which they list all the parts that they want to show in the video and outline the directions for the camera movements and animation of the elements seen. Our system reads the script, and the resulting animation is played in a Unity player. In the final part of the thesis, we present the results of our evaluation of the software done with four anatomy professors. The teachers could make their own narrated, animated video lessons on the knee and their limited experience in animation or video editing did not hold them back. The choice of text as an input was particularly favourable as the teachers did not have to learn a new and often intimidating user interface for design software, making our system intuitive and easy to learn.