Algorithmic and perceptual approaches for polytopic recomposition of melodies by multiscale complexity criterion
Approches algorithmiques et perceptives pour la recomposition polytopique de mélodies par critère de complexité multi-échelle
Résumé
This PhD thesis explores the principles of “polytopic musical recomposition” under musicological, algorithmic and perceptual aspects. Polytopic musical recompositions are defined as a type of musical variations which consists in creating new musical content by rearranging the temporal order of musical segments from an original material, while preserving some of its structural properties. The structural properties are described as a polytopic graph accounting for the similarities between segments at different time scales, according to the “System & Contrast” (S&C) model proposed by (Bimbot et al. 2012, 2016).Based on a creative approach, this work aims at proposing new paradigms for musical re-composition, but also to assess the relevance of the assumptions behind the polytopic model, as of how it accounts for musical structure.After a detailed presentation of the polytopic model and its usability to recompose musical contents, this PhD thesis evaluates the relevance of polytopic recompositions as opposed to random recompositions, by means of a perceptual test carried out on a population of listeners (Gillot et al., 2019). A first series of tests suggests a clear advantage of polytopic recompositions over comparable random recompositions, as regards the time-line disturbances. A second series of tests studies a set of algorithmic variants for estimating the optimal melodic segments for polytopic recompositions, so as to optimize them with respect to the melodic surface. The algorithms are based on the minimization of a complexity criterion relying on the S&C model combined with Optimal Transport principles. The set of algorithmic methods are compared to human annotations, but also evaluated in the context of perceptual tests on a panel of listeners, so as to assess their musical acceptability. Results indicate a relative agreement between the level of acceptability of the algorithmic methods versus human annotations, but they show relatively small differences between variants of automatic methods. The new concept of polytopic recompositions can be used interactively for creative purposes, and a prototype for mobile devices has been developed for music in MIDI format in partnership with the Kercodex SME.
Cette thèse explore sous différents aspects musicologiques, algorithmiques et perceptifs le principe des recompositions musicales dite « polytopiques ». Il s’agit d’un procédé de génération de variations musicales consistant à créer un nouveau contenu en réorganisant l’ordre temporel des motifs musicaux à partir d’un matériau d’origine, tout en préservant certaines propriétés de leurs relations structurelles. Ces relations structurelles sont décrites par un graphe polytopique qui rend compte des similarités entre motifs à différentes échelles de temps, sur la base du modèle « Système & Contraste » (S&C) proposé par (Bimbot et al. 2012, 2016). À travers une démarche créative, cette thèse vise à offrir de nouveaux paradigmes de recomposition musicale, mais également à évaluer la pertinence des hypothèses sousjacentes au modèle polytopique, en ce qu’il rend compte de la structure musicale. Après une présentation détaillée du modèle polytopique et de son utilisation pour recomposer des contenus musicaux, cette thèse évalue la pertinence des recompositions polytopiques par rapport à des recompositions aléatoires, grâce à un test perceptif mené sur un ensemble d’auditeurs (Gillot et al., 2019). Une première série de tests suggère un avantage net des recompositions polytopiques vis-à-vis de recompositions aléatoires comparables en terme de perturbations de l’ordonnancement temporel. Une seconde série de tests étudie différentes variantes d’algorithmes destinées à estimer la délimitation optimale des motifs mélodiques permettant d’obtenir des recompositions polytopiques satisfaisantes vis-à-vis de la surface musicale. Ces algorithmes sont basés sur la minimisation d’un critère de complexité alliant le modèle Système & Contraste et des principes de Transport Optimal. Cet ensemble de méthodes sont non seulement comparées à des annotations humaines, mais elles sont également soumises à une batterie de tests perceptifs sur un panel d’auditeurs, pour évaluer leur acceptabilité musicale. Les résultats indiquent une relative concordance entre les niveaux d’acceptabilité des méthodes testées et des annotations produites, avec toutefois de faibles écarts entre variantes des méthodes automatiques. Ce nouveau concept de recompositions polytopiques peut être utilisé de façon interactive à des fins créatives et un prototype pour applications mobiles a été développé en partenariat avec la PME Kercodex pour la musique au format MIDI.
Origine : Version validée par le jury (STAR)