Une représentation archétypale de style artistique : résumer et manipuler des stylesartistiques d'une façon interprétable

An Archetypal Representation of Artistic Style : Summarizing and manipulating artistic style in an interpretable manner

• Auteur / Autrice : Daan Wynen
• Direction : Cordelia Schmid, Julien Mairal
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques et informatique
• Date : Soutenance le 09/12/2020
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale Mathématiques, sciences et technologies de l'information, informatique (Grenoble ; 1995-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Jean Kuntzmann (Grenoble)
• Partenaire(s) de recherche : Equipe de recherche : Équipe de recherche Models of visual object recognition and scene understanding (Paris) - Équipe-projet Apprentissage de modèles à partir de données massives (Montbonnot, Isère ; 2019-....)
• Jury : Président / Présidente : Vincent Lepetit
• Jury : Rapporteur / Rapporteuse : Josef Sivic, Patrick Pérez

Mots clés

Mots clés contrôlés

Traitement d'images -- Techniques numériques

Réseaux neuronaux (informatique)

Apprentissage non supervisé (intelligence artificielle)

Dans l'art

Vision par ordinateur

Mots clés libres

Analyse archétypale

Style artistique

Style neuronal

Apprentissage non supervisée

Archetypal analysis

Artistic Style

Deep Learning

Unsupervised learning

Résumé

Dans cette thèse, nous étudions les représentations utilisées pour décrire et manipuler le style artistique d'œuvres d'art. Dans la littérature sur le transfert de style, différentes représentations ont été proposées, mais ces dernières années, les représentations de style artistique qui constituent le paradigme dominant en vision par ordinateur ont été celles apprises par des réseaux de neurones profonds et qui sont entraînés avec des images naturelles. Nous nous appuyons sur ces représentations avec le double objectif de résumer les styles artistiques présents dans de grandes collections d’œuvres d’art numérisées, ainsi que la manipulation des styles d’images naturelles ou artistiques.Pour cela, nous proposons une représentation concise et intuitive basée sur l’analyse archétypale, une méthode d’apprentissage classique non supervisée avec des propriétés qui la rendent particulièrement adaptée à cette tâche. Nousmontrons comment cette représentation archétypale du style peut être utilisée pour découvrir et décrire, de manière interprétable, quels styles sont présents dans une grande collection. Cela permet d’explorer les styles présents dansune collection sous différents angles ; différentes manières de visualiser les résultats d’analyse permettent de poser différentes questions. Ceux-ci peuvent concerner un style qui a été identifié dans la collection des œuvres d’art, sur le style d’une œuvre d’art particulière, ou plus largement sur la relation entre les styles identifiés.Nous appliquons notre analyse à une collection d’œuvres d’art issues de WikiArt, un effort de collecte en ligne d’arts visuels poursuivi par des bénévoles. Cet ensemble de données comprend également des métadonnées telles que l’identité des artistes, le genre et le style des œuvres d’art. Nous utilisons ces métadonnées pour une analyse plus approfondie de la représentation de style archétypale le long des lignes biographiques des artistes. et avec une analyse des relations au sein de groupes d’artistes.

In this thesis we study the representations used to describe and manipulate artistic style of visual arts.In the neural style transfer literature and related strains of research, different representations have been proposed, but in recent years the by far dominant representations of artistic style in the computer vision community have been those learned by deep neural networks, trained on natural images.We build on these representations with the dual goal of summarizing the artistic styles present in large collections of digitized artworks, as well as manipulating the styles of images both natural and artistic.To this end, we propose a concise and intuitive representation based on archetypal analysis, a classic unsupervised learning method with properties that make it especially suitable for the task. We demonstrate how this archetypal representation of style can be used to discover and describe, in an interpretable way, which styles are present in a large collection.This enables the exploration of styles present in a collection from different angles; different ways of visualizing the information allow for different questions to be asked.These can be about a style that was identified across artworks, about the style of a particular artwork, or more broadly about how the styles that were identified relate to one another.We apply our analysis to a collection of artworks obtained from WikiArt, an online collection effort of visual arts driven by volunteers. This dataset also includes metadata such as artist identies, genre, and style of the artworks. We use this metadata for further analysis of the archetypal style representation along biographic lines of artists and with an eye on the relationships within groups of artists.