Modélisation, analyse et éxécution de graphes audio dans les systèmes interactifs multimédia

Models, Analysis and Execution of Audio Graphs in Interactive Multimedia Systems

• Auteur / Autrice : Pierre Donat-Bouillud
• Direction : Florent Jacquemard, Jean-Louis Giavitto
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 06/12/2019
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris (1992-...)
• Partenaire(s) de recherche : Laboratoire : Sciences et technologies de la musique et du son (Paris ; 1983-....)
• Jury : Président / Présidente : Pierre Jouvelot
• Jury : Examinateurs / Examinatrices : Jean-Louis Giavitto, Yann Orlarey, Dumitru Potop-Butucaru, Christoph M. Kirsch, Alain Girault
• Jury : Rapporteur / Rapporteuse : Pierre Jouvelot, Myriam Desainte-Catherine

Mots clés

Mots clés contrôlés

Antescofo (logiciel)

Traitement du signal

Informatique musicale

Multimédias interactifs

Concerts

Mots clés libres

Systèmes interactifs multimédia

Systèmes temps réel

Informatique musicale

Modèles

Rééchantillonnage

Langages de programmation

Interactive Multimedia Systems

Real-time systemes

Computer music

Models

Resampling

Programming languages

Résumé

Les Systèmes Interactifs Multimédia (SIM) sont utilisés en concert pour des spectacles interactifs, qui mêlent en temps-réel instruments acoustiques, instruments électroniques, des données issues de divers capteurs (gestes, interface midi, etc) et le contrôle de différents média (vidéo, lumière, etc). Cette thèse présente un modèle formel de graphe audio, via un système de types et une sémantique dénotationnelle, avec des flux de données bufferisés datés multipériodiques qui permettent de représenter avec plus ou moins de précisions l'entrelacement du contrôle (par exemple un oscillateur basse fréquence, des vitesses issues d’un accéléromètre) et des traitements audio dans un SIM. Une extension audio d’Antescofo, un SIM qui fait office de suiveur de partition et qui comporte un langage synchrone temporisé dédié, a motivé le développement de ce modèle. Cette extension permet de connecter des effets Faust et des effets natifs, à la volée, de façon sure. L’approche a été validée sur une pièce de musique mixte et un exemple d'interactions audio et vidéo. Enfin, cette thèse propose des optimisations hors-ligne à partir du rééchantillonnage automatique de parties d'un graphe audio à exécuter. Un modèle de qualité et de temps d'exécution dans le graphe a été défini. Son étude expérimentale a été réalisée grâce à un SIM prototype à partir de la génération automatique de graphes audio, ce qui a permis aussi de caractériser des stratégies de rééchantillonnage proposées pour le cas en ligne en temps-réel.

Interactive Multimedia Systems (IMSs) are used in concert for interactive performances, which combine in real time acoustic instruments, electronic instruments, data from various sensors (gestures, midi interface, etc.) and the control of different media (video, light, etc.). This thesis presents a formal model of audio graphs, via a type system and a denotational semantics, with multirate timestamped bufferized data streams that make it possible to represent with more or less precision the interleaving of the control (for example a low frequency oscillator, velocities from an accelerometer) and audio processing in an MIS. An audio extension of Antescofo, an IMS that acts as a score follower and includes a dedicated synchronous timed language, has motivated the development of this model. This extension makes it possible to connect Faust effects and native effects on the fly safely. The approach has been validated on a mixed music piece and an example of audio and video interactions. At last, this thesis proposes offline optimizations based on the automatic resampling of parts of an audio graph to be executed. A quality and execution time model in the graph has been defined. Its experimental study was carried out using a prototype IMS based on the automatic generation of audio graphs, which has also made it possible to characterize resampling strategies proposed for the online case in real time.