Contribution à l'annotation interactive de graphes de connaissances multidimensionnels : une étude de cas sur les données de musique populaire

Contributing to the interactive annotation of multi-dimensional knowledge graphs: a case study of popular music data

• Auteur / Autrice : Maroua Tikat
• Direction : Michel Buffa, Marco Winckler
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 01/10/2020
• Etablissement(s) : Université Côte d'Azur
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Nice ; 1992-....)
• Partenaire(s) de recherche : Laboratoire : I3S - Informatique, Signaux et Systèmes de Sophia-Antipolis

Mots clés

Mots clés libres

Visualisation

Annotation

Web semantique

Musique

Visualization

Annotation

Semantic Web

Music

Résumé

Cette thèse concerne la modélisation et l'exploration sémantique de bases de métadonnées musicales. Ce projet de thèse s'appuie sur les résultats obtenus par l'actuel projet ANR WASABI porté par l'équipe WIMMICS commune à l'INRIA et au laboratoire CNRS I3S (UMR 7271), spécialiste du Web social sémantique, proche du W3C (l'organisme qui fait les standards du Web. Les résultats, du projet WASABI seront réutilisés pour créer de nouvelles perspectives d'explorations visuelles d'une base de métadonnées (musicales, culturelles) sur 2 millions de chansons populaires (artiste/album/chansons, typiquement pop/rock/etc.). L'objectif principal de cette thèse est en effet l'étude de stratégies de représentation et de découverte de connaissances appliquées, dans des domaines comme la production de bases de connaissances, avec un focus sur la partie exploratoire des informations, pour des publics tels que DJs, compositeurs, musicologues… Nous proposons tout d'abord d'établir une architecture pour la gestion des métadonnées de musique à l'aide des technologies du Web Sémantique. Nous construiront ensuite une ontologie spécialisée et un ensemble de vocabulaires contrôlés pour décrire les différents concepts spécifiques à la musique populaire. Par ailleurs, les contenus musicaux sont de nature complex cars ils portent des dimensions multimédia intégrant des représentation textuelles (ex. titre, paroles), graphiques (ex. courbes sonores), audio (ex. le son produits), ainsi que de métadonnées qualifiant les oeuvres (ex. date d'enregistrement, auteurs, interprètes…) et les usages (ex. reprise, classification pour un usage précis,...). La richesse des bases de métadonnées musicales (en termes de nombre et multiplicité de format d'attributs) pose un défi à l'exploration de l'espace d'information. A ce titre, nous proposons d'utiliser des techniques de visualisation de graphes multidimensionnels pour permettre l'exploration interactive des bases des données musicales. Les visualisations seront construites à partir de la modélisation des données issues de corpus WASABI (qui sera sans doute étendu pendant la durée de la thèse) pour concevoir des mécanismes d'exploration multi-dimensionnels (textuels, graphiques et audio) de ces données. Les enjeux de l'emploi des techniques de visualisation sont, d'une part, permettre de mieux comprendre les relations de causalités, tendances, patrons des concentrations de données; d'autre part, l'aspect visuel des techniques employés, permettra de visualiser la pertinence des relations sémantiques; l'aspect interactif des techniques de visualisation rendra les outils accessibles au public ciblé par le projet (tels que DJs, compositeurs, musicologues,...); et de façon plus globale, cela permettra de mieux communiquer les résultats à un public encore plus large. La visualisation devra intégrer la transformation des données numériques du corpus en données paramétriques musicales (i.e. manipulation de sons). On étudiera les modèles sémantiques pour décrire les différents éléments mis en oeuvre, les différentes manières d'exploiter ces données (pour la recherche, la découverte, l'exploration sonore et visuelle) et on pourra poursuivre les travaux sur les composants musicaux réutilisables abordés dans le cadre du projet ANR WASABI autour des standards WebAudio et WebMidi, notamment le standard WAP (WebAudio Plugins) créé à cette occasion ainsi que la station de travail audionumérique d'assemblage qui les accompagne. Verrous scientifiques : Quels modèles peuvent être appliqués avec succès pour mieux représenter ces données multimédia et textuelles, en particulier dans un but d'exploration/ découverte/ vues synthétiques? Quel sont les besoins et les usages des utilisateurs pour l'exploration d'une base de métadonnées multidimensionnelles sur la musique populaire ? Parmi les utilisateurs, nous nous intéressons particulièrement à des compositeurs, DJs, musicologues et chercheurs en musique/audio, et enseignants de musiques. L'objectif est d'étudier le comportement et les besoin des utilisateurs de façon à pouvoir répondre à leur besoin et rendre les outils (et la base de métadonnées) accessible au plus grand nombre. Comment intégrer de façon ergonomique l'explorations visuelle et sonore des contenus du corpus de la base de métadonnées multidimensionnelles sur la musique populaire ? Les réponses à ces questions ouvrent sur divers sujets de recherche : Comment des algorithmes basés sur les graphes peuvent aider à la mise en oeuvre de systèmes de visualisations multi échelles et multimédia ? Quelles sont les informations non explicites qu'il est possible d'extraire depuis les sources de données dont on dispose ? Outre les métadonnées, la représentation visuelle multi-échelles et multimédia est-elle spécifique au type de musique représentée (la musique populaire pop/rock/etc.)

This PhD thesis is concerned by the semantic modeling and exploration of a metadata database of popular music. This PhD thesis is motivated by the results obtained from the ongoing ANR project WASABI led by the WIMMICS team, which encompasses members of INRIA and the CNRS laboratory I3S (UMR 7271), that are specialized on Social and Semantic Web and maintain a close relationship with the World Wide Consortium (W3C – the organism responsible for maintaining Web standards). During the PhD thesis, the tools built during the WASABI project will be reused to create innovative visual exploration techniques of a database of metadata of 2 million records (including artist, album, and tracks of popular music pop such as pop, rock, r&b, ). More specifically, we pursue the work started with the project ANR WASABI around the standards WebAudio, WebMidi, and more specifically the standard WAP (WebAudio Plugin); and we plan to reuse the WASABI tools for playing the audio contents embedded into the metadata database of popular music. The goal of PhD thesis is to investigate strategies for representing and extracting relevant knowledge from multimedia and multidimensional databases of metadata of popular music (including music and cultural attributes), which is available in a multimedia format. It is worthy of notice that, musical expression are complex and it might be available in many multimedia forms including representations as text (ex. title, lyrics), as images (ex. sound wave graphics, artwork), as sound (ex. as produced by musical instruments), as well as metadata identifying the record (ex. record date, artist, singers) and description of the usages (ex. cover versus original, historical usages). So that, one of the objectives is to investigate the combined use of multimedia attributes (ex. text and sound) to support the interactive exploration of datasets and eventually leading to the discovery of non-explicit relationships between attributes. The expected outcomes of this work are meant to be applied for the exploration of information necessary to support use cases of target population of users (such as DJs, composers, teachers of music, musicologists ). Nonetheless, the will looks towards some degree of genericity so that the techniques developed in this PhD thesis might be applied to diverse application domains related requiring knowledge extraction and management of multimedia and multidimensional datasets. One of the main tasks allocated to this PhD thesis is dedicated to the study of semantic models able to describe the many attributes used to describe musical contents et how to explore such data (for discovering correlations between attributes, validating hypothesis, exploring multimedia elements including sound, text, images and metadata). For that, the first step would be to develop of an architecture for the management of music metadata using Web semantic technology. The next step would be the development of an Ontology and a controlled vocabulary for describing the diverse concepts associated with popular music. The next steps will include the development of suitable information visualization techniques for exploring the musical contents and testing the platform with representative users in the target population. The many attributes used to characterize music implies that musical database are not only multimedia but also multidimensional. In order to explore such as datasets, we Page 5/7 propose to enrich with multimedia attributes the existing information visualization technique that typically used for depicting textual attributes in multidimensional graphs. The initial visualizations will be built using the original WASABI dataset, which will be enriched with new contents along the PhD thesis. The use of information visualization techniques has multiple goals. On one hand, information visualization techniques allow exploring the dataset in order to identify causality, trends, and patterns highlighting the semantic relationship between multidimensional attributes; On the other hand, the interactive and visual aspect of the techniques supporting the exploration of musical datasets are meant to facilitate the access of the tools developed in the PhD thesis to the target audience (including DJs, musicologists, composers, teachers of music ) and, more general, help to communicate the results of the findings in the database to a broader audience. As part of visualization process, we plant to integrate a module allowing the transformation of digital data into parametric musical data (i.e. musical sounds). Hereafter we summarize the main research questions of this PhD thesis: Which models might are suitable to present both the multimedia data and the semantic relationship between multimedia attributes in multidimensional database of metadata about popular music? The criteria of success for these models include the capacity of support the exploration of large datasets and provide synthetic but yet meaningful views of the findings. What are the user needs, tasks and behavior whilst exploring a multidimensional database of metadata about popular music? We assume that the design of tools allowing the exploration of that dataset might have an impact on user's creativity but also promote a change in the way they perform their tasks. The focus on users is also important for the development of usable tools that can be accessible to a large community. How to integrate usable tools for the interactive exploration of visual and audio contents issued from the multidimensional database of metadata about popular music? It is worthy of notice that the research around visualization techniques including sound research and playing is very original in the scientific community. The answers to these questions might provide solutions to other research questions beyond the domain of music datasets, including the following: What are the suitable algorithms for supporting the visual and audio interaction with multidimensional and multimedia datasets? How use semantic we technology to extract non-explicit relationships extracted from datasets and how to properly communicate such semantic relationship to users? In which extension the techniques for knowledge managements of multimedia contents are specific to music datasets or can it be reused to other application domains, for example TV broadcasting?