Une approche logico-temporelle pour la création de médias interactifs

Authoring interactive media : a logical & temporal approach

• Auteur / Autrice : Jean-Michael Celerier
• Direction : Myriam Desainte-Catherine
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 29/03/2018
• Etablissement(s) : Bordeaux
• Ecole(s) doctorale(s) : École doctorale Mathématiques et informatique (Talence, Gironde ; 1991-....)
• Partenaire(s) de recherche : Equipe de recherche : Laboratoire bordelais de recherche en informatique
• Jury : Président / Présidente : Nadine Rouillon-Couture
• Jury : Examinateurs / Examinatrices : Jean-Michel Couturier, Miller Puckette
• Jury : Rapporteurs / Rapporteuses : Jean Bresson, Stéphane Natkin

Mots clés

Mots clés contrôlés

Informatique musicale

Multimédias interactifs

Mots clés libres

Multimédia

Interaction

Partitions interactives

Multimedia

Interactivity

Interactive scores

Résumé

La question de la conception de médias interactifs s'est posée dès l'apparition d'ordinateurs ayant des capacités audio-visuelles. Un thème récurrent est la question de la spécification temporelle d'objets multimédia interactifs : comment peut-on créer des présentations multimédia dont le déroulé prend en compte des événements extérieurs au système.Ce problème rejoint un autre champ d'application, qui est celui de la musique et plus spécifiquement des partitions interactives : des pièces musicales dont l'interprétation pourra varier dans le temps en fonction d'indications données par la partition.Dans les deux cas, il est nécessaire de spécifier les médias et données musicales qui seront orchestrées par le système. C'est le sujet de la première partie de cette thèse, qui présente un modèle adapté pour la conception d'applications multimédia permettant de répondre à des problématiques d'accès réparti et de contrôle à distance, ainsi que de documentation.Une fois ce modèle défini, on construit en s'inspirant des systèmes à flots de donnée courants dans les environnements adaptés à la musique en temps réel un environnement de calcul permettant de contrôler les paramètres des applications définies précédemment, ainsi que de générer des entrées & sorties sous forme audio-visuelle. En particulier, une notion d'environnement permanent dans ce modèle de données est introduite. Elle simplifie certains cas d'usages courants en informatique musicale, et améliore les performances par rapport à une solution uniquement basée sur de la communication entre nœuds explicites du système.Enfin, une structure de graphe temporel est introduite : elle permet de définir les parties du graphe de données qui vont être actives à un instant donné d'une partition interactive. En particulier, les connections entre objets du graphe de données sont étudiées dans le cadre de déroulements synchrones et différés.Un langage d'édition visuel est introduit pour l'écriture de scénarios dans un modèle graphique réunissant les éléments introduits précédemment.La structure temporelle est par la suite étudiée sous l'axe de la répartition. On montre notamment qu'il est possible d'acquérir un pouvoir expressif supplémentaire en supposant une exécution concurrente de certains objets de la structure temporelle.Enfin, on présente comment le système permet de recréer nombre de systèmes musicaux existants : séquenceurs, live-loopers, et patchers, ainsi que les nouveaux types de comportements multimédias rendus possibles.

Interactive media design is a field which has been researched as soon as computers started showing audio-visual capabilities. A common research theme is the temporal specification of interactive media objects: how is it possible to create multimedia presentations whose schedule takes into account events external to the system.This problem is shared with another research field, which is interactive music and more precisely interactive scores. That is, musical works whose performance will evolve in time according to a given score.In both cases, it is necessary to specify the medias and musical data orchestrated by the system: this is the subject of the first part of this thesis, which presents a model tailored for the design of multimedia applications. This model allows to simplify distributed access and remote control questions, and solves documentation-related problems.Once this model has been defined, we construct by inspiration with well-known data-flow systems used in music programming, a computation structure able to control and orchestrate the applications defined previously, as well as handling audio-visual data input and output.Specifically, a notion of permanent environment is introduced in the data-flow model: it simplifies multiple use cases common when authoring interactive media and music, and improves performance when comparing to a purely node-based approach.Finally, a temporal graph structure is presented: it allows to score parts of the data graph in time. Especially, nodes of the data graph are studied in the context of both synchronous and delayed cases.A visual edition language is introduced to allow for authoring of interactive scores in a graphical model which unites the previously introduced elements.The temporal structure is then studied from the distribution point of view: we show in particular that it is possible to earn an additional expressive power by supposing a concurrent execution of specific objects of the temporal structure.Finally, we expose how the system is able to recreate multiple existing media systems: sequencers, live-loopers, patchers, as well as new multimedia behaviours.