Croquis dynamiques : Modélisation hiérarchique de scènes complexes et évolutives

Dynamic sketches : Hierarchical modeling of complex and time-evolving scenes

• Auteur / Autrice : Pauline Olivier
• Direction : Marie-Paule Cani, Pooran Memari
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 08/03/2022
• Etablissement(s) : Institut polytechnique de Paris
• Ecole(s) doctorale(s) : École doctorale de l'Institut polytechnique de Paris
• Partenaire(s) de recherche : établissement opérateur d'inscription : École polytechnique (Palaiseau, Essonne ; 1795-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique de l'École polytechnique (Palaiseau, Essonne)
• Jury : Président / Présidente : Tobias Isenberg
• Jury : Examinateurs / Examinatrices : Marie-Paule Cani, Pooran Memari, Joëlle Thollot, Daniel Sykora, Frédéric Cordier
• Jury : Rapporteurs / Rapporteuses : Joëlle Thollot, Daniel Sykora

Mots clés

Mots clés libres

Systèmes d'aide à la création (AI)

Informatique graphique

Modélisation géométrique

Modélisation par esquisse

Animation par ordinateur

Creative artificial intelligence

Computer graphics

Sketch-Based modeling

Computer animation

Geometric modeling

Résumé

Les représentations visuelles sont essentielles pour explorer et communiquer une idée ou un phénomène. Alors que les logiciels numériques pour la modélisation 3D et l'animation restent complexes et spécialisés, ils ne favorisent généralement pas la créativité. En particulier, ils ne permettent pas l'ébauche rapide d'options alternatives. Par conséquent, le croquis sur un support physique reste, jusqu'à présent, la manière la plus simple et générale pour créer de telles représentations.Récemment, les techniques de modélisation par esquisse ont été intensément étudiées pour la création de modèles 3D mais seulement peu d'entre elles exploitent le croquis comme entrée pour créer et immerger les utilisateurs dans un environnement 3D, guider le mouvement ou encore explorer des hypothèses.Cette thèse se concentre sur la modélisation en temps réel de scènes complexes et évoluant dans le temps en utilisant, en entrée, uniquement des esquisses. Plus précisément, la vision à long terme serait de fournir aux utilisateurs une sorte de crayon 'augmenté' leur permettant de créer interactivement une scène 3D composée de formes qui peuvent être mises en mouvement ou déformées tout en permettant le raffinement à la fois sur la création et le mouvement et, sans se voir imposer d'ordre spécifique dans ce processus de création.Grâce à une collaboration avec des architectes, nous avons tout d'abord mis en place Nested Explorative Maps, un nouveau type de croquis 3D dédié à la création rapide et l'exploration d'idées pour la conception préliminaire de formes architecturales. Notre modèle permet d'esquisser des structures imbriquées du grossier au détails afin de façonner progressivement un bâtiment 3D, du plan de sol aux détails d'intérieurs et de façade, tout en conservant les traits de l'utilisateur et en permettant une navigation interactive à travers les options alternatives suggérées visuellement par l’esquisse.Nous avons ensuite abordé la synthèse de distributions anisotropes à partir d'une esquisse comme un outil général de création de contenu à la fois en 2D et en 3D. À partir d'une analyse multi-résolution de distributions de formes, nous proposons une méthode efficace pour la synthèse des éléments présents dans une esquisse à la fois dans un domaine 2D étendu, mais également en 3D et complétée par une illusion de profondeur afin de permettre aux utilisateurs de s’immerger immédiatement dans un environnement 3D qui s'inspire de leur esquisse.Enfin, nous avons collaboré avec des biologistes pour explorer les croquis 3D animés, où les mouvements et déformations de formes organiques peuvent être exprimés et raffinés grâce à l'utilisation d'un vocabulaire simple inspiré des standards de représentations de leur domaine et d’encarts de position clés.

Visual representations are essential to explore and communicate on an idea or a phenomenon. As digital software for 3D modeling and animation are still complex and specialized, they usually do not favor creativity. In particular, they offer no easy way to quickly draft a series of alternative options. Thus, up to now, sketching on a physical medium remains the only simple and general means to create such representations.Recently, sketch-based modeling techniques were intensively studied to create 3D models but only few techniques use sketching as input to create and immerse the users into a 3D environment, guide the motion of shapes or explore hypotheses.In this thesis, we focused on a real-time modeling of complex and time-evolving scenes using only sketching as input. More precisely, the long term vision would be to provide users with an augmented pen enabling them to interactively create an 3D scene composed of shapes that can be put into motion or deformed while enabling refinement both on the creation and motion without any editing pipeline.Through a collaboration with architects, we first introduce Nested Explorative Maps, a new type of 3D sketch for the easy creation and exploration of ideas applied to the preliminary design of man-made shapes. Our model enables coarse to fine sketching of nested structures to progressively shape a 3D building from floor plan to interior design while keeping the original strokes and allowing interactive navigation through the alternative design that the sketch visually suggests.We then tackle the synthesis of anisotropic distributions from a sketch as a means for general creation of content both in 2D and 3D. From a simple multi-resolution analysis of the shape distributions, we propose an efficient method to synthesize the input distribution into an extended 2D domain but also a 3D embedding of this extended distribution in addition to an illusion of depth to enable users to immediately explore a 3D environment inspired from their sketch.Finally, we collaborated with biologists to explore animated 3D sketches, where motions and deformations of organic shapes can be expressed and refined through the use of a simple depiction vocabulary inspired from standard representations in their field, and key-frame snippets.