Design d'interactions, interactions avec le design : vers une instrumentalité et une matérialité dans l'infographie procédurale et au delà

Designing Interactions, Interacting with Design : Towards Instrumentality and Materiality in Procedural Computer Graphics and Beyond

• Auteur / Autrice : Martin Tricaud
• Direction : Michel Beaudouin-Lafon
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 23/10/2024
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication
• Partenaire(s) de recherche : Laboratoire : Laboratoire Interdisciplinaire des Sciences du Numérique
• Partenaire(s) de recherche : Référent : Faculté des sciences d'Orsay
• Partenaire(s) de recherche : graduate school : Université Paris-Saclay. Graduate School Informatique et sciences du numérique (2020-....)
• Jury : Président / Présidente : Michèle Gouiffès
• Jury : Examinateurs / Examinatrices : Morten Fjeld, Catherine Letondal, Nuno Correia
• Jury : Rapporteur / Rapporteuse : Morten Fjeld, Catherine Letondal

Mots clés

Mots clés contrôlés

Ergonomie cognitive

Art numérique

Conception assistée par ordinateur

Infographie

Interaction humain-machine

Mots clés libres

Interaction humain-machine

Créativité

Infographie procédurale

Design assisté par ordinateur

Art numérique

Interaction instrumentale

Human-Computer interaction

Creativity

Procedural computer graphics

Computer-Aided design

Digital art

Instrumental interaction

Résumé

Le terme d'infographie procédurale ou Procedural Computer Graphics (PCG) recouvre un ensemble de technique de création visuelle basées sur la construction et le paramétrage de procédures algorithmiques. Celles-ci réifient la chaine des opérations conduisant à un design final en un objet interactif. En opérant donc à un plus haut niveau d'abstraction, la création procédurale ouvre en principe des possibilités inaccessibles à l'action humaine séquentielle, mais l'expressivité des techniques de PCG reste contrainte par la façon dont les modèles procéduraux sont encodés, et par les interactions qu'admettent ces représentations. Les frustrations de l'exploration d'espaces de paramètre par sliders en sont un exemple connu. Ce problème fait écho à une question centrale en Interaction Humain-Machine: Quels artefacts logiciels sont le plus adaptés pour médiatiser nos actions sur des substrats d'information? Les interfaces en manipulation directe - jadis réputées plus ergonomiques sur le plan cognitif - semblent reculer au profit des interactions conversationnelles: Les modèles d'IA générative promettent un accès facile à des résultats sophistiqués par commande verbale ou textuelle. Mais la métaphore de l'interface comme ''monde'' plutôt que comme interlocuteur n'est pas obsolète: Certaines choses seront toujours plus faciles à faire qu'à dire. La recherche récente en sciences cognitives sur l'action outillée et le raisonnement technique a apporté de nombreuses preuves que ces facultés sont distinctes du raisonnement symbolique, et les précèdent dans l'évolution humaine. Cette faculté de raisonnement technique tacite, fondamentale dans les pratiques artistiques, peut-elle s'accommoder d'environnements qui ne sont pas régit par des règles analogues à celles du monde physique, et si oui comment? Y répondre implique de redéfinir la matérialité comme qualité non pas de l'environnement mais de la relation d'un agent à celui-ci. Mais les redéfinitions proposées par la recherche en design peinent souvent à en tirer des principes de conception d'interfaces actionnables. Trois questions émergent de ce constat: 1. Si la matérialité est une relation d'un agent à son environnement, comment se développe-t-elle entre les utilisateurs et leur environnement logiciel? 2. Quels obstacles entravent ce processus, et quels artefacts logiciels spécifiques le facilitent? 3. Comment repenser l'architecture de l'interaction en général pour garantir qu'une telle relation de matérialité puisse émerger dans n'importe quel environnement logiciel? En m'appuyant sur étude auprès de 12 artistes et designers, je propose de voir la matérialité comme émergent d'un processus épistémique: Les artistes et les designers réalisent des actions épistémiques pour produire de la connaissance sur le medium, et de façon symétrique, ils externalisent leurs savoirs dans des artefacts épistémiques - lesquels apportent de nouvelles affordances à l'environnement, et admettent donc de nouvelles actions épistémiques. J'aborde la deuxième question via une preuve de concept logicielle qui combine plusieurs techniques d'interaction innovantes afin de faciliter la navigation exploratoire dans les espaces de paramètres des modèles procéduraux. La réflexion sur le processus de design et les premiers feedbacks récoltés m'amènent à me distancer des méthodes psychométriques d'évaluation, pour envisager des approches basées sur la théorie de l'information, tout en notant que la difficulté de l'IHM à diffuser les techniques d'interaction bénéfiques réside ailleurs que dans leur évaluation: S'approprier un medium implique d'y introduire de nouvelles affordances en combinant librement les représentations interactives qui le composent ce qui est par nature difficilement contrôlable. En revanche, la composabilité des représentations interactives peut être spécifiée de façon formelle et générique, sous réserve que les langages soient dotés d'une sémantique adéquate qui pour l'instant leur fait défaut.

Procedural Computer Graphics (PCG) is an umbrella term for a variety of techniques that entail building and amending algorithmic procedures to generate graphical content. These procedural models reify the chain of operations leading to a design, turning the design process itself into an interactive object. Through manipulating such abstractions, artists and designers tap into the capacity of computers to produce outputs that require the repetitive and/or parallel application of rules to be obtained, or the storage of multiple objects in working memory. Yet, the expressiveness of PCG techniques remains constrained by how procedural models are represented and how users interact with these representations. A common frustration in PCG is the reliance on sliders to explore design spaces—what Alan Perlis would call a Turing tar-pit: everything is possible, but nothing is easy. This problem echoes a central question in Human-Computer Interaction: Which software artifacts are best suited to mediate our actions on information substrates? Direct manipulation interfaces—once considered more ergonomic from a cognitive standpoint—seem to be losing ground to conversational interactions: Generative AI models promise easy access to sophisticated results through verbal or textual commands. However, the metaphor of the interface as a ''world'' rather than as an interlocutor is not obsolete: Some things will always be more easily done than said. Recent research in cognitive science on tool-based action and technical reasoning has provided ample evidence that these faculties are distinct from symbolic reasoning and precede it in human evolution. Can this tacit technical reasoning, fundamental in artistic practices, extend to environments that aren't governed by rules analogous to those of the physical world? And if so, how? Answering these questions requires redefining materiality not as a quality of the environment but of an agent's relationship to it. Yet, the redefinitions proposed by design research often struggle to yield actionable principles for interface design. Three questions emerge from these observations:1. If materiality is a relationship between agent and environment, how does it develop between computational artists and software—if at all? 2. What obstacles hinder this process, and what specific software artifacts can support it?3. How can interactions and interfaces in general be architected to foster materiality with software environments? The first question is addressed through an ethnographic study of 12 artists and designers, proposing that materiality develops through epistemic processes. Artists build non-declarative knowledge through epistemic actions, externalizing this knowledge into artifacts that foster further exploration. I contextualize these findings with works that reflect similar intuitions. To tackle the second question, I develop a software prototype featuring novel interaction tools to facilitate navigation in large procedural model parameter spaces. Reflecting on the design process and participant feedback, I critique traditional usability and creativity evaluation methods, proposing alternative approaches inspired by instrumental interaction and information theory. In answering the third question, I argue that the difficulties HCI faces in bringing innovative interaction techniques and frameworks (particularly instrumental interaction) into the mainstream - stem not from the absence of adequate evaluation methods, but in the lack of adequate architecture. I speculate that if the building blocks of a software's interaction model have well-behaved mathematical semantics, we can extend the model-world metaphor beyond physicality and bring materiality to various information substrates.