Design de l’apprentissage machine pour les dispositifs interactifs musicaux

Designing With Machine Learning for Interactive Music Dispositifs

• Auteur / Autrice : Hugo Scurto
• Direction : Frédéric Bevilacqua
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 02/12/2019
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris (1992-...)
• Partenaire(s) de recherche : Laboratoire : Sciences et technologies de la musique et du son (Paris ; Equipe Perception et design sonores)
• Jury : Président / Présidente : Catherine Pelachaud
• Jury : Examinateurs / Examinatrices : Samuel Bianchini, Anne Sédès
• Jury : Rapporteur / Rapporteuse : Sergi Jordà, Wendy Mackay

Mots clés

Mots clés contrôlés

Systèmes homme-machine

Informatique musicale

Apprentissage automatique

Design sonore interactif

Mots clés libres

Musique

Design

Informatique

Apprentissage machine

Dispositif

Transdisciplinarité

Music

Design

Computer science

Machine learning

Dispositif

Transdisciplinarity

Résumé

La musique est une pratique culturelle permettant aux êtres humains d'exprimer sensiblement leurs intentions à travers le son. L'apprentissage machine définit un ensemble de modèles permettant de nouvelles formes d'expression au sein desdits systèmes interactifs musicaux. Cependant, en tant que discipline informatique, l'apprentissage machine demeure essentiellement appliquée à la musique du point de vue des sciences de l'ingénieur, qui, très souvent, conçoit les modèles d'apprentissage sans tenir compte des interactions musicales prenant place entre humains et systèmes. Dans cette thèse, j'envisage la possibilité de mener des pratiques de design avec l'apprentissage machine pour les systèmes interactifs musicaux. Je soutiens que l'apprentissage machine doit avant tout être situé au sein d'un contexte humain afin d'être conçu et appliqué au design de systèmes interactifs musicaux. Pour défendre cette thèse, je présente quatre études interdisciplinaires, dans lesquelles j'introduis des modèles intermédiaires d'apprentissage, dits modèles-prototype, au sein de méthodes de conception centrées humain, afin d'appliquer l'apprentissage machine à quatre tâches musicales situées : le mapping mouvement-son, l'exploration sonore, l'exploration de la synthèse, et l'interaction musicale collective. À travers ces études, je montre que les modèles-prototype permettent de générer des idées de design pour l'apprentissage machine en amont de la phase d'ingénierie desdits modèles, ce en lien étroit avec les utilisateurs potentiels de ces systèmes. Je montre également que les systèmes d'apprentissage machine centrés humain résultant de ce processus de conception rendent possible des processus dynamiques d'expression entre les humains et les machines, allant au-delà de la création d'artefacts musicaux statiques. Je propose de nommer co-expression ces processus d'interaction musicale entre des êtres humains - faisant preuve d'un élan expressif et créatif quelque soit leur expertise musicale - et des machines - dont les capacités d'apprentissage peuvent être perçues comme expressives du point de vue de l'humain. En outre, je présente cinq systèmes interactifs musicaux conçus avec lesdits modèles-prototypes, et relate leurs restitutions publiques au sein d'ateliers, expositions, installations et performances. Par une approche réflexive, je montre que les contributions musicales apportées par des pratiques de design avec l'apprentissage machine peuvent, à terme, complémenter les contributions scientifiques apportées par les méthodes de conception centrées humain. Ainsi, je suggère que la recherche musicale peut être menée par le design de dispositifs interactifs musicaux, c'est-à-dire, par la réalisation technique d'artefacts esthétiquement fonctionnels remettant en cause les normes culturelles régissant l'informatique et la musique.

Music is a cultural and creative practice that enables humans to express a variety of feelings and intentions through sound. Machine learning opens many prospects for designing human expression in interactive music systems. Yet, as a Computer Science discipline, machine learning remains mostly studied from an engineering sciences perspective, which often exclude humans and musical interaction from the loop of the created systems. In this dissertation, I argue in favour of designing with machine learning for interactive music systems. I claim that machine learning must be first and foremost situated in human contexts to be researched and applied to the design of interactive music systems. I present four interdisciplinary studies that support this claim, using human-centred methods and model prototypes to design and apply machine learning to four situated musical tasks: motion-sound mapping, sonic exploration, synthesis exploration, and collective musical interaction. Through these studies, I show that model prototyping helps envision designs of machine learning with human users before engaging in model engineering. I also show that the final human-centred machine learning systems not only helps humans create static musical artifacts, but supports dynamic processes of expression between humans and machines. I call co-expression these processes of musical interaction between humans - who may have an expressive and creative impetus regardless of their expertise - and machines - whose learning abilities may be perceived as expressive by humans. In addition to these studies, I present five applications of the created model prototypes to the design of interactive music systems, which I publicly demonstrated in workshops, exhibitions, installations, and performances. Using a reflexive approach, I argue that the musical contributions enabled by such design practice with machine learning may ultimately complement the scientific contributions of human-centred machine learning. I claim that music research can thus be led through dispositif design, that is, through the technical realization of aesthetically-functioning artifacts that challenge cultural norms on computer science and music.