Extraction d'information pour l'édition et la synthèse par l'exemple en rendu expressif

Information Extraction for Editing and By-Example Synthesis in Expressive Rendering

• Auteur / Autrice : Pierre-Edouard Landes
• Direction : François X. Sillion, Cyril Soler
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques
• Date : Soutenance le 17/02/2011
• Etablissement(s) : Grenoble
• Ecole(s) doctorale(s) : École doctorale Mathématiques, sciences et technologies de l'information, informatique (Grenoble ; 1995-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Jean Kuntzmann (Grenoble)
• Jury : Président / Présidente : Myszkowski Karol
• Jury : Examinateurs / Examinatrices : François X. Sillion, Cyril Soler
• Jury : Rapporteurs / Rapporteuses : Decarlo Doug, Pascal Guitton

Mots clés

Mots clés libres

Synthèse de textures par l'exemple

Conversion d'images en niveaux de gris

Génération de dessins au trait

Reconnaissance de motif

Perception appliquée

Apprentissage artificiel

Example-based texture synthesis

Line drawing generation

Pattern recognition

Applied perception

Machine learning

Résumé

Cette thèse prend pour cadre la synthèse par l'exemple et l'édition de contenu graphique en infographie et propose une réflexion sur les possibles sources d'information utiles à ces fins. Contrairement aux techniques "procédurales", l'approche par l'exemple se distingue par sa grande simplicité d'utilisation : reviennent en effet à l'algorithme de synthèse l'identification, analyse et reproduction des éléments caractéristiques des exemples fournis en entrée par l'utilisateur. Ce mode de création de même que les techniques approfondies d'édition ont grandement contribué à la facilitation de la production à grande échelle de contenus graphiques convaincants et ainsi participé à l'adoption par la communauté des artistes des outils proposés par le support numérique. Mais pour être ainsi exploitées, celles-ci doivent également être hautement contrôlables tout en évitant l'écueil de n'être que le simple prolongement de la main de l'artiste. Nous explorons ici cette thématique dans le cadre de la création de rendus dits expressifs et étudions les interactions (collaboratives ou concurrentielles) entre les différentes sources d'information au cœur de ce processus. Ces dernières sont à notre sens au nombre de trois : l'analyse automatique des données d'entrée avant rendu ou traitement ; l'utilisation de modèles a priori en vue de leur compréhension ; et enfin le contrôle explicite par l'utilisateur. En les combinant au plus juste, nous proposons des techniques nouvelles dans divers domaines de la synthèse en rendu expressif. Au delà du réalisme photographique, le rendu expressif se caractérise par sa poursuite de critères plus difficilement quantifiables tels la facilité de compréhension ou le caractère artistique de ses résultats. La subjectivité de tels objectifs nous force donc ici plus qu'ailleurs à estimer avec soin les sources d'information à privilégier, le niveau d'implication à accorder à l'utilisateur (sans que ce choix ne s'opère au détriment de la qualité théorique de la méthode), ainsi que le possible recours à des modèles d'analyse (sans en compromettre la généralité). Trois principales instances de synthèse sont ici détaillés : la génération de textures, la désaturation d'images, et la représentation de maillages par le dessin au trait. La grande variété des données d'entrée (textures matricielles ou vectorielles, images complexes, géométries 3d), des modalités de synthèse (imitation, conversion, représentation alternative) et d'objectifs (reproduction de la signature visuelle d'une texture, restitution crédible de contrastes chromatiques, génération de dessins conformes au style de l'utilisateur) permettent l'examen de divers équilibres entre ces sources d'information et l'exploration de degrés plus ou moins élevés d'interaction avec l'utilisateur.

This thesis focuses on example-based synthesis and editing in Computer Graphics and reflects on the possible sources of information necessary for such goals. Unlike "procedural" techniques, synthesis by example stands out thanks to its extreme ease-of-use : indeed, tasks such as identification, analysis and reproduction of the distinguishing features of the user-provided examples are left to the method itself. Such approaches, along with today's intricate editing methods have greatly favored the production of compelling graphical content at a wide scale, and henceforth facilitated the adoption of computer-assisted tools by artists. But in order to meet with success, they also have to be highly controllable without being a mere extension of the artist's hand. We explore here such concerns in the context of expressive rendering and study the interactions, may they be collaborative or competitive, between the different sources of information at the core of such processes. In our opinion, there are three main sources of information: the automatic analysis of the inputs before processing; the use of prior knowledge through predetermined models; and users' explicit intervention. Through a clever combination of these sources, we propose new expressive synthesis techniques which satisfy the aforementioned usability. More than photographic realism, expressive rendering strives for the fulfillment of less easily quantifiable goals such as the intelligibility or the aesthetic value of its results. The subjectivity behind the assessment of such criteria thus forces us to attach much importance to the careful choice of the source of information to favor; the required amount of user intervention (without being detrimental to the method's theoretical value); and the possible resort to prior models (without endangering its generality). Three main synthesis instances are studied in this document: texture generation, image de-colorization, and artistic line rendering. The great disparity of inputs (raster and vector textures, complex images, 3d meshes), terms of synthesis (imitation, conversion, depiction) and objectives (preservation of a texture's visual signature, plausible restitution of chromatic contrasts, creation of drawings in accordance with users' styles) gives rise to distinct balances between those sources of information and requires the consideration of various modes of user interaction.