Modélisation informatique de l'orchestration pour l'analyse et la co-créativité entre humains et IA

Modeling orchestration for computer assisted analysis and human-AI co-creativity

• Auteur / Autrice : Francesco Maccarini
• Direction : Mathieu Giraud, Florence Leve
• Type : Projet de thèse
• Discipline(s) : Informatique et applications
• Date : Inscription en doctorat le 01/11/2021
• Etablissement(s) : Université de Lille (2022-....)
• Ecole(s) doctorale(s) : MADIS Mathématiques, sciences du numérique et de leurs interactions
• Partenaire(s) de recherche : Laboratoire : CRIStAL - Centre de Recherche en Informatique, Signal et Automatique de Lille

Mots clés

Mots clés libres

Informatique musicale

Ia

Modélisation

Orchestration

Co-créativité

Apprentissage automatique

Computer music

Ai

Modeling

Orchestration

Co-creativity

Machine learning

Résumé

Contexte L'orchestration est l'art d'écrire de la musique pour un ensemble d'instruments. Elle va bien plus loin qu'une instrumentation qui serait une simple répartition des voix. Que ce soit dans les musiques dites classiques ou dans d'autres répertoires comme dans la musique de film, l'orchestration se nourrit des possibilités musicales de chaque instrument, de celles de leur pupitre, et du “son” de l'orchestre tout entier [1]. L'écriture de contrastes orchestraux porte à la fois sur les instruments utilisés et sur ce qu'ils jouent chacun. En informatique musicale, des travaux de ces dernières années ont proposé des pistes vers l'orchestration automatique [3] et la reconstruction de spectres audio, mais peu d'études se sont attachées aux caractéristiques de cette écriture. Informatiquement (et musicalement), les défis de l'analyse et de la génération de l'écriture orchestrale viennent de la richesse des combinaisons instrumentales possibles, demandant, pour modéliser cette écriture, des connaissances ou des corpus conséquents. Peut-on envisager des nouveaux outils favorisant la co-créativité du musicien et de la machine, et même du mélomane, lorsqu'ils écoutent, analysent ou composent de la musique symphonique ? Objectifs Cette thèse explorera des analyses systématiques de partitions orchestrales avec des méthodes informatiques, à la fois issues de l'apprentissage machine et de l'algorithmique discrète. Le but est d'illustrer et de complémenter les connaissances sur l'orchestration et sur son lien à l'harmonie tonale et à la forme et de concevoir à des outils pour l'analyse et la co-création de musique orchestrale. Concrètement, la·le doctorant·e étudiera une bibliographie sur l'orchestration, l'informatique musicale et les modèles d'apprentissage profonds pour la musique, notamment autour des auto-encodeurs et des espaces latents [2,4]. Elle·il s'attaquera aux points suivants: Identifier, regrouper et enrichir des corpus de partitions orchestrales tonales, qu'elles soient classiques, (post-)romantiques ou contemporaines; Modéliser finement l'annotation et l'analyse de l'écriture orchestrale tonale, en étendant les représentations informatiques de l'harmonie, de la texture [5] et en modélisant l'orchestration suivant la forme; Concevoir, implémenter et évaluer des modèles informatiques, qu'ils soit appris et/ou algorithmiques, appliqués à l'analyse de l'orchestration ainsi qu'en co-création de musique symphonique. Les modèles d'apprentissage utilisés viseront l'explicabilité et l'interprétabilité pour les utilisateurs. Cette thèse sera ainsi faite en collaboration avec des théoriciens de la musique, et des collaborations seront aussi recherchées avec des compositeurs actuels, notamment de musique pour l'image, et/ou des classes d'orchestration. Références [1] S. Adler, The Study of Orchestration, 2016 (4th ed) [2] J. P. Briot, G. Hadjeres, F. Pachet, Deep Learning Techniques for Music Generation - A Survey, 2019, https://arxiv.org/abs/1709.01620 [3] L. Crestel et al., A database linking piano and orchestral MIDI scores with application to automatic projective orchestration, 2018, https://hal.archives-ouvertes.fr/hal-01578292 [4] P. Dhariwal et al., Jukebox: A Generative Model for Music, 2020, https://arxiv.org/abs/2005.00341 [5] M. Giraud, F. Levé et al., Towards Modeling Texture in Symbolic Data, ISMIR 2014, https://hal.archives-ouvertes.fr/hal-01057017

Context Orchestration is the art of writing music for several instruments. It goes much further than an instrumentation that would be a simple distribution of voices. Whether in so-called “classical” music or in other repertoires such as film music, the orchestration is nourished by the musical possibilities of each instrument, by those of their instrument group, and finally by the “sound” of the entire orchestra [1]. Writing orchestral contrasts concerns both the instruments used and what they each play. In computer music, there were recent works towards automatic orchestration [3] and the reconstruction of audio spectra, but few of them focused on the characteristics of orchestral writing. One of the MIR (and music) challenges of the analysis and generation of orchestral writing comes from the richness of the combinations of the possible instruments. Understanding and modeling orchestral scores require significant knowledge and corpora. Is it possible to envisage new tools that encourage the co-creativity between the composer and the computer, and even that may help the casual listener, when listening to, analyzing or composing symphonic music? Objectives This thesis will propose computer methods – both from machine learning and discrete algorithmics – to systematically analyze orchestral scores. The goal is to illustrate and complement the knowledge on orchestration and its link to tonal harmony and form, and to design tools for the analysis and co-creation of orchestral music. Concretely, the PhD student will study a bibliography on orchestration, computer music, and deep learning models for music, especially around auto-encoders and latent spaces [2,4]. She/he will address the following points: Identify, gather, and improve corpora of tonal orchestral scores, whether classical, (post-)romantic or contemporary; Model annotations and analyses of tonal orchestral scores, by extending computer representations of harmony, texture [5] and by modeling orchestration according to form; Design, implement and evaluate learned and/or algorithmic computer models applied to orchestration analysis and co-creation of symphonic music. The learning models will aim at explicability and interpretability for the users. This thesis will thus be done in collaboration with music theorists. Collaborations will also be sought with living composers, including film music composers and/or orchestration classes. References [1] S. Adler, The Study of Orchestration, 2016 (4th ed) [2] J. P. Briot, G. Hadjeres, F. Pachet, Deep Learning Techniques for Music Generation - A Survey, 2019, https://arxiv.org/abs/1709.01620 [3] L. Crestel et al., A database linking piano and orchestral MIDI scores with application to automatic projective orchestration, 2018, https://hal.archives-ouvertes.fr/hal-01578292 [4] P. Dhariwal et al., Jukebox: A Generative Model for Music, 2020, https://arxiv.org/abs/2005.00341 [5] M. Giraud, F. Levé et al., Towards Modeling Texture in Symbolic Data, ISMIR 2014, https://hal.archives-ouvertes.fr/hal-01057017