Modèles génératifs grammaticaux pour le traitement de notation musicale

Grammatical generative models for music notation processing

• Auteur / Autrice : Léo Géré
• Direction : Philippe Rigaux, Florent Jacquemard
• Type : Projet de thèse
• Discipline(s) : Sciences pour l'ingénieur spécialité Informatique
• Date : Inscription en doctorat le 01/10/2023
• Etablissement(s) : Paris, HESAM
• Ecole(s) doctorale(s) : École doctorale Sciences des métiers de l'ingénieur (Paris)
• Partenaire(s) de recherche : Laboratoire : Cedric - Centre d'études et de recherche en informatique et communications
• Partenaire(s) de recherche : établissement de préparation de la thèse : Conservatoire national des arts et métiers (France)

Mots clés

Mots clés libres

Modèle génératif

Musique symbolique

Apprentissage profond

Espace latent

Modèle gramatical

Auto-encodeur variationnel

Generative model

Symbolic music

Deep learning

Latent space

Grammatical model

Variational auto-encoder

Résumé

Les modèles génératifs profonds sont appliqués avec succès à de nombreux cas d'apprentissage de données numériques, telles qu'images ou audio. Dans le domaine de la musique, ils peuvent également servir à la génération de représentations symboliques, dans le cadre de problèmes comme la génération automatique de musique ou la transcription. Un défi important pour la génération de données symboliques structurées en général est d'obtenir des résultats bien formés. C'est particulièrement vrai dans le cas de la musique. Il est en effet largement admis que la notation musicale représente, bien au-delà de simple suites de notes, une organisation hiérarchique de l'information mélodique et harmonique, induisant des dépendances non-locales entre les objets musicaux. Une bonne représentation de cette information est essentielle à l'interprétation et à l'analyse de pièces. L'objectif de cette thèse est d'exploiter la nature hiérarchique de la notation musicale, pouvant être représentées par des arbres syntaxiques d'une grammaire hors contexte, et d'utiliser un auto-encodeur variationnel (VAE), qui encode et décode directement ces arbres syntaxiques, pour une grammaire donnée, afin d'obtenir des données syntaxiquement valides. On s'appuiera pour cela sur un modèle arborescent de la notation musicale que nous développons comme représentation intermédiaire pour le traitement de problèmes tels que la transcription musicale, la recherche d'information dans les bases de partitions et l'analyse de partitions. Il conviendra de définir pour le cadre voulu des adaptations appropriées de ce modèle arborescent, des grammaires générant de tels arbres et de transformations d'arbres adéquates. Un corpus d'arbres sera constitué à partir de partitions au format XML et de techniques d'augmentation de données, et appliqué pour l'entraînement de modèles. Nous visons deux applications principales: • la génération de performances musicales de piano (au format symbolique MIDI) à partir de partitions, • le problème inverse qui est la transcription automatique d'enregistrements de piano MIDI en partitions. On utiliserons dans ce cadre de larges bases de partitions piano au format XML et de performances MIDI correspondantes (qu'il s'agisse d'enregistrements de vrais musiciens sur claviers électroniques ou de performances artificielles). Le problème de la génération automatique pourra aussi être approché, par exemple par imitation (d'autres partitions) ou pour produire un résumé, ou encore depuis une description du morceau voulu.

Deep generative models have been successfully applied to various cases of learning digital data, such as images or audio. In the field of music, they can also be used for generating symbolic representations, in the context of problems like automatic music generation or transcription. An important challenge for generating structured symbolic data, in general, is to obtain well-formed results. This is particularly true in the case of music. It is widely acknowledged that musical notation represents, beyond mere sequences of notes, a hierarchical organization of melodic and harmonic information, inducing non-local dependencies among musical objects. A good representation of this information is essential for the interpretation and analysis of musical pieces. The objective of this thesis is to exploit the hierarchical nature of musical notation, which can be represented by syntax trees of a context-free grammar, and to use a variational autoencoder (VAE) that directly encodes and decodes these syntax trees, for a given grammar, in order to obtain syntactically valid data. We will build on a tree-based model of musical notation that we develop as an intermediate representation for addressing problems such as music transcription, information retrieval in score databases, and score analysis. Appropriate adaptations of this tree-based model, grammar generation for such trees, and suitable tree transformations will need to be defined for the desired framework. A corpus of trees will be constructed from XML-format scores and data augmentation techniques, and applied for training models. We aim for two main applications: • generating piano music performances (in MIDI symbolic format) from scores. • the inverse problem, which is the automatic transcription of MIDI piano recordings into scores. In this context, large databases of piano scores in XML format and corresponding MIDI performances will be utilized, whether they are recordings of real musicians on electronic keyboards or artificial performances. The problem of automatic generation can also be approached, for example, through imitation (of other scores) or to produce a summary, or even from a description of the desired piece.