Conception d'outils de création de contenu 3D basés sur le dessin 3D

Designing tools for 3D content authoring based on 3D sketching

• Auteur / Autrice : Emilie Yu
• Direction : Adrien Bousseau
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 21/12/2023
• Etablissement(s) : Université Côte d'Azur
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Nice ; 1992-....)
• Partenaire(s) de recherche : Laboratoire : Institut national de recherche en informatique et en automatique (France). Unité de recherche (Sophia Antipolis, Alpes-Maritimes)
• Jury : Président / Présidente : Wendy Mackay
• Jury : Examinateurs / Examinatrices : Adrien Bousseau, Wendy Mackay, Hongbo Fu, Damien Rohmer, Martin Hachet, Hui-Yin Wu
• Jury : Rapporteur / Rapporteuse : Hongbo Fu, Damien Rohmer

Mots clés

Mots clés contrôlés

Modélisation tridimensionnelle

Réalité virtuelle

Mots clés libres

Dessin 3D

Réalité virtuelle

Modélisation 3D

Outils de création

3D sketching

Virtual reality

3D modelling

Creativity support tools

Résumé

L'accessibilité croissante du rendu 3D en temps réel a fait de la création de contenu 3D un moyen majeur d'expression et de communication. Mais la création de contenu 3D nécessite d'interagir avec des représentations numériques de la forme et de l'apparence qui sont compatibles avec les algorithmes de rendu et d'animation. Les maillages triangulaires, les modèles de matériaux paramétriques et les courbes d'animation sont bien adaptés aux opérations de rendu mais obligent les artistes à exprimer leurs idées en terme de commandes bas niveau qui doivent être apprises et mémorisées.Dans cette thèse, nous explorons l'utilisation de coups de crayon 3D ou courbes 3D comme moyen pour les artistes d'exprimer leurs idées. Inspirés par la façon dont les artistes travaillent avec un pinceau et une toile, nous considérons ce geste de coup de crayon de l'artiste comme la principale commande d'entrée du système de création. Les courbes 3D sont des primitives flexibles qui peuvent être créées dans des interfaces utilisateur 2D ou dans des interfaces de réalité virtuelle (RV), et elles peuvent encoder une forme 3D ou l'apparence finale d'une peinture 3D. La conception d'outils qui considèrent les courbes 3D comme une représentation de la forme ou de l'apparence ouvre un espace vaste et passionnant à explorer.Les designers peuvent utiliser les courbes 3D comme une représentation partielle de la forme 3D. Nous étudions comment convertir un croquis 3D clairsemé en un modèle de surface 3D.Étant donné que les courbes caractéristiques de l'objet sont un élément important de la forme designée et qu'elles sont représentées avec soin dans l'esquisse, nous reconstruisons une surface lisse par morceaux qui préserve ces courbes caractéristiques. En obtenant une surface à partir des courbes 3D, notre algorithme permet le rendu 3D de la forme décrite par l'esquisse.Pour mieux comprendre comment les courbes 3D peuvent représenter non seulement la forme mais aussi l'apparence des objets, nous étudions la pratique de la peinture en RV au sein d'une communauté d'artistes qui travaillent avec un logiciel commercial de peinture en RV. Sur la base de cette étude, nous proposons une conception et une implémentation pour les ''calques 3D'', une nouvelle primitive d'interaction pour la peinture RV qui considère les courbes 3D comme représentation à la fois de la forme et de l'apparence 3D, tout en découplant l'édition de ces deux éléments. Inspirés par l'utilisation de la composition de calques en peinture numérique 2D, nous proposons un processus non destructif pour modifier l'apparence d'une peinture RV.L'animation dessinée à la main est un moyen expressif de créer une animation avec des coups de crayons. Dans les animations de type ''video doodles'', les artistes créent un dessin animé qui semble bouger dans le même espace 3D qu'une vidéo filmée. Prendre en compte les effets de perspective et les occlusions tout en dessinant des courbes 2D n'est pas une tâche facile, c'est pourquoi nous utilisons des techniques de vision par ordinateur pour placer les courbes dans l'espace 3D et les rendre en respectant le contexte de la vidéo. Nous concevons une interface utilisateur en 2D qui ressemble aux outils traditionnels d'animation en 2D, afin de permettre aux utilisateurs qui ne sont pas familiers avec les outils 3D de créer de telles animations.Globalement, nous montrons que les courbes 3D sont une représentation puissante pour la création de contenu 3D en proposant trois systèmes qui exploitent les courbes 3D ou les dessins 3D en tant que primitives d'interaction pour des applications créatives allant de la création de forme à celle d'apparence et d'animation. Nous abordons la conception de ces systèmes sous deux angles complémentaires ; nous développons de nouveaux algorithmes pour interpréter les dessins et les commandes de bas niveau de l'utilisateur, et nous concevons des interactions qui permettent aux utilisateurs d'exprimer leurs intentions haut niveau.

The increasing accessibility of real-time 3D rendering hardware has made 3D content creation a major means of expression and storytelling. But authoring 3D content requires interacting with the digital representations of shape and appearance that are compatible with rendering and animation algorithms. Triangular meshes, parametric material models and animation curves, while well suited to downstream computation, require artists to convey their ideas in terms of low-level commands that need to be learnt and remembered.In this thesis, we explore the use of 3D strokes as a way for artists to express their ideas. Inspired by the way artists work with brush and canvas, we consider the artist's mark-making gesture as the main input to the authoring system. 3D strokes are flexible primitives that can be created in either 2D desktop user interfaces or in virtual reality (VR) interfaces, and they can encode a 3D shape or likewise the final appearance of a 3D painting. Designing tools that consider 3D strokes as a shape or appearance representation opens a large and exciting space to explore.Designers can use 3D strokes as a partial representation of 3D shape. We investigate how to interpret a sparse 3D sketch into a 3D surface model. Since feature curves are a prominent part of the design and are finely depicted by the sketch, we recover a piece-wise smooth surface that preserves those sharp features. By obtaining a surface from 3D strokes, our algorithm allows to render the shape depicted by the sketch.To better understand how 3D strokes can depict not only the shape but also the appearance of objects, we study the practice of VR painting among a community of artists that work with a commercial VR painting software. Based on this inquiry, we propose a design and implementation for 3D-Layers, a new interaction primitive for VR painting that embraces 3D strokes as the sole representation for both 3D shape and appearance, yet decouples edition of these two elements. Inspired by the usage of layer compositing in 2D digital painting, we support a non-destructive workflow to edit the appearance of a VR painting.Hand-drawn animation is an expressive way to convey an animation with strokes. In “video doodles” animation, artists create an animated doodle that seems to live in the same 3D space as a captured video. Taking into account perspective effects and occlusions while drawing 2D strokes is not an easy task, so we leverage computer vision techniques to place strokes in 3D space and render them with respect to the video context. We design a 2D user interface that resembles traditional 2D motion design tools, to enable usersunfamiliar with 3D tools to create such animations.Overall, we show that 3D strokes are an expressive representation for 3D content creation by proposing three systems that leverage 3D strokes or 3D sketches as interaction primitives for creative applications spanning shape, appearance and animation authoring.We approach system design from two complementary perspectives ; we develop novel algorithms to interpret strokes and low-level user input, and we design interactions to provide new ways for people to express their high-level intent.