La composition picturale : modélisation, perception & création

Pictorial composition : modeling, perception & creation

• Auteur / Autrice : Pierre Lelièvre
• Direction : Peter Neri
• Type : Thèse de doctorat
• Discipline(s) : SACRe, arts visuels, Sciences cognitives
• Date : Soutenance le 25/11/2022
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : École doctorale Lettres, Arts, Sciences humaines et sociales (Paris ; 2010-....)
• Partenaire(s) de recherche : Laboratoire : Équipe d'accueil SACRe - Sciences, arts, création, recherche (Paris)
• Partenaire(s) de recherche : Établissement de préparation de la thèse : École normale supérieure (Paris ; 1985-....)
• Jury : Président / Présidente : Norberto M. Grzywacz
• Jury : Examinateurs / Examinatrices : Peter Neri, Norberto M. Grzywacz, Audry Sofian, Alasdair Newson, Katherine Storrs, Chien-Chung Chen, Sylvie Tissot
• Jury : Rapporteurs / Rapporteuses : Norberto M. Grzywacz, Audry Sofian

Mots clés

Mots clés contrôlés

Sciences cognitives

Art

Mots clés libres

Art pictural

Composition

Abstraction

Recherche-création

Modélisation

Apprentissage machine

Réseaux de neurones

Apprentissage profond

RNN

VAE

Perception

Psychophysique

MLDS

Pictorial art

Composition

Abstraction

Research-creation

Modeling

Machine learning

Neural networks

Deep learning

RNN

VAE

Perception

Psychophysics

MLDS

Résumé

La composition picturale, entendue comme la disposition des éléments graphiques sur le plan, est généralement associée à des règles qualitatives et des heuristiques. Bien qu'instructives pour les artistes et leur pratique, ces normes n'agissent que comme des contraintes externes sur le plan. Nous pensons que les œuvres d'art sont capables de fixer des caractéristiques de composition plus fondamentales dans leur matière picturale même. Nous développons donc un paradigme supposant toutes les œuvres d'un·e artiste comme les vues partielles d'une représentation en plus grandes dimensions, agrégeant des régularités compositionnelles intrinsèques. Nous choisissons de matérialiser cet objet hyper-compositionnel théorique par un espace continu, vectoriel et probabiliste. Notre objectif est de rendre ces régularités explicites pour un usage artistique et d'établir des mesures quantitatives pour des études scientifiques. Notre recherche s'inscrit donc pleinement dans un programme réflexif de recherche-création; fondé à la fois sur un matériau artistique personnel, riche d'une pratique de plus de 10 ans de la composition abstraite ; et sur une approche interdisciplinaire projective, combinant une modélisation itérative par apprentissage automatique et des vérifications perceptives avec de la psychophysique. La nature séquentielle et non stationnaire du processus de composition, ainsi que la définition complexe et évolutive de ses unités fonctionnelles sous-jacentes, se combinent en un phénomène perceptif qui ne se modélise pas facilement par les modèles d'apprentissage profond basés sur des pixels, e.g. CNNs. Nous adoptons une stratégie différente, construite autour d'une définition paramétrique de l'exécution des traits, et de RNN-VAEs (Recurrent Variational Auto-Encoders) imbriqués hiérarchiquement, permettant à notre modèle d'aborder la matière picturale en alignant son comportement sur le geste artistique. Plus précisément, cette architecture extrait les régularités compositionnelles en compressant les dessins en un nombre réduit de dimensions indépendantes, alignées dans l'idéal sur la représentation intérieure construite par les artistes et les observateurs. Ces réseaux neuronaux artificiels sont entraînés sur plus de 5000 compositions abstraites personnelles et vectorisées par des courbes de Bézier. Bien que cet ensemble de données soit important pour un seul artiste, son échelle reste relativement réduite pour l'entraînement de réseaux profonds. Nous abordons cette problématique en introduisant de nouvelles contraintes qui encouragent un espace latent à la fois compact, cohésif et expressif. Nous étudions ensuite l'espace compositionnel résultant à travers des jugements perceptifs de trajectoires interpolées entre des points précis de cet espace. Nous vérifions particulièrement l'homogénéité de la densité latente en mesurant l'échelle perceptive produite par des participants humains jugeant la similarité entre des compositions. Nous limitons notre exploration à des coupes circulaires d'hypersphères, dont la densité latente est relativement stable, et des progressions linéaires orthogonales le long de la norme, provoquant des distorsions perceptives plus importantes. Nous utilisons une variante de la méthode MLDS, que nous avons restreinte à des triplets locaux et étendue aux espaces physiques périodiques. Les échelles perceptives mesurées empiriquement présentent des régularités qui sont capturées de manière satisfaisante par la notion d'information de Fisher calculée à partir des métriques fournies par le modèle. Les algorithmes qui en résultent permettent aux artistes d'explorer l'interaction dynamique des éléments graphiques en fonction non seulement de leurs propres régularités de composition, mais aussi des régularités perceptives intrinsèques de ceux qui voient leur art. Nous terminons enfin ce cycle en révélant les dimensions compositionnelles cachées avec de l'encre et du papier, via des créations par traceur numérique.

Pictorial composition, understood as the arrangement of graphical elements on the plane, is typically associated with qualitative rules and heuristics. Although informative for artists and their practice, these norms and guidelines only act as external constraints on the canvas. We believe that artworks are able to fix more fundamental compositional features in their pictorial matter. We therefore develop a paradigm in which every artwork of an artist represents a partial view of a higher-dimensional representation, aggregating intrinsic compositional regularities. We choose to materialize this theoretical hyper-compositional object as a continuous, vectorial and probabilistic space. Our objective is to make regularities explicit for artistic purposes, and to build quantitative metrics for scientific scrutiny. Our research is therefore articulated around a reflexive research-creation agenda: it is grounded in personal artistic material drawing from more than 10 years of practice in abstract composition, it expands along a projective interdisciplinary framework that combines iterative modeling with machine learning, and it engages in perceptual validation using psychophysical techniques. The sequential non-stationary nature of the compositional process, together with the complex and evolving definitions of its underlying functional units, coalesce into a perceptual phenomenon that cannot be readily modeled through pixel-based deep learning models, such as CNNs. We adopt a different strategy, constructed around a parametric definition of stroke execution and hierarchically nested RNN-VAEs (Recurrent Variational Auto-Encoders), enabling our network to tackle pictorial material by aligning its behavior with the artistic gesture. More specifically, this network architecture extracts compositional regularities by compressing inputs into a reduced number of independent dimensions, ultimately aligned with the representation entertained by artists and observers. These artificial neural networks are trained on >5k personal abstract compositions vectorized as Bézier curves. Although this dataset is large for a single artist, its scale remains relatively small for training large networks. We address this issue by introducing new constraints that support a compact latent space that is both cohesive and expressive. We then study the resulting compositional space through perceptual judgments of interpolated trajectories spanning targeted locations within this space. In particular, we characterize latent density homogeneity by measuring the perceptual scale adopted by human participants when judging sample similarity. We limit our exploration to circular slices of hyperspheres, along which latent density can be regarded as reasonably stable, and orthogonal linear progressions along the norm, which imply larger perceptual distortions. We employ a variant of the MLDS method, which we have restricted to local triplets and extended to periodic physical spaces. The empirically measured perceptual scales present regularities that are satisfactorily captured by the notion of Fisher information computed on metrics provided by the model. The resulting algorithms enable artists to explore the dynamical interaction of graphical elements in accordance not only with their own compositional regularities, but also with the perceptual regularities intrinsic to those who view their art. We then come full circle by revealing the hidden compositional dimensions with ink and paper through digitally pen-plotted creations.