Encodage de musique et apprentissage en profondeur pour la transcription et la classification de la musique basées sur des caractéristiques audio représentées visuellement

Music encoding and deep learning for music transcription and classification based on visually represented audio features

• Auteur / Autrice : Charbel El Achkar
• Direction : Abdallah Makhoul, Talar Atéchian
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 15/12/2023
• Etablissement(s) : Bourgogne Franche-Comté
• Ecole(s) doctorale(s) : École doctorale Sciences pour l'ingénieur et microtechniques (Besançon ; 1991-....)
• Partenaire(s) de recherche : Laboratoire : FEMTO-ST : Franche-Comté Electronique Mécanique Thermique et Optique - Sciences et Technologies (Besançon) - Franche-Comté Électronique Mécanique- Thermique et Optique - Sciences et Technologies (UMR 6174) / FEMTO-ST
• Partenaire(s) de recherche : Site de préparation : Université de Franche-Comté (1971-....)
• Jury : Président / Présidente : Cédric Wemmert
• Jury : Examinateurs / Examinatrices : Raphaël Couturier
• Jury : Rapporteurs / Rapporteuses : Chirine Ghedira, Flavien Vernier

Mots clés

Mots clés contrôlés

Apprentissage profond

Mots clés libres

L'apprentissage en profondeur

Classification des genres musicaux

Transcription automatique de la musique

Vision par ordinateur

Ontologie

Convertisseur de partition musicale

Analyse de modèles

Récupération d'informations musicales

Musique orientale

Spectogramme STFT

CNN

Transformateurs

Systèmes de recommandation musicale

Transcription des tablatures de guitare

Transformation Constant-Q

Deep learning

Music genre classification

Automatic music transcription

Computer vision

Ontology

Music score converter

Pattern analysis

Music information retrieval

Eastern music

STFT Spectogram

Transformers

Music recommendation systems

Guitar tablature transcription

Constant-Q transform

Résumé

Au cours de la dernière décennie, de nouvelles partitions occidentales ont été régulièrement composées et encodées en XML pour l'analyse. Pour les partitions orientales, l'absence de support XML est due au manque d'intérêt pour la numérisation, entraînant une difficulté d'encodage précis. L'expansion rapide de l'apprentissage profond motive les développeurs et musiciens à explorer ses avantages en musique. Cette thèse se concentre sur la classification musicale et la transcription automatique grâce à l'apprentissage profond. Nos efforts incluent :(1) La proposition de MusicPatternOWL, une ontologie structurant l'extraction de connaissances pour l'analyse de partitions orientales.(2) Le développement du convertisseur MEI2JSON pour transformer les partitions MEI en JSON simplifié en vue du prétraitement de l'Intelligence Artificielle.(3) L'introduction d'une méthode de prétraitement pour les spectrogrammes STFT et l'amélioration d'un classificateur musical CNN, pour évaluer l'impact de l'apprentissage profond sur les services de streaming musical.(4) La présentation de réseaux basés sur CNN et CNN-Transformateur pour la transcription de tablatures de guitare, évalués par rapport aux réseaux de pointe dans le domaine.

In the past decade, musicians have composed new occidental-style music scores, often encoded in XML-based formats for analysis. However, the oriental genre lacks XML support due to limited digitization interest, resulting in encoding challenges. The rapid growth of deep learning has stimulated the exploration of music applications. This thesis focuses on music genre classification and transcription using Deep Learning. Our efforts include:(1) Introducing MusicPatternOWL, an ontology for structuring knowledge extraction in Eastern music pattern analysis.(2) Developing the MEI2JSON converter to transform MEI-encoded scores into simplified JSON for Artificial Intelligence pre-training.(3) Proposing a pre-processing method for Short Time Fourier Transform (STFT) spectrograms and enhancing a CNN-based music genre classifier to examine deep learning's impact on music streaming services.(4) Presenting CNN-based and CNN-Transformer-based networks for guitar tablature transcription, evaluated against the state-of-the-art networks in the field.