Auxiliary learning & Adversarial training pour les études des manuscrits médiévaux

Auxiliary learning & Adversarial training for Medieval Manuscript Studies

• Auteur / Autrice : Imad Eddine Ibrahim Bekkouch
• Direction : Frédéric Billiet, María Victoria Eyharabide
• Type : Thèse de doctorat
• Discipline(s) : Informatique pour les sciences humaines et sociales
• Date : Soutenance le 11/01/2024
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Concepts et langages (Paris ; 2000-....)
• Partenaire(s) de recherche : Laboratoire : Institut de Recherche en Musicologie (Paris ; 2014-....)
• Jury : Président / Présidente : Claude Montacié
• Jury : Examinateurs / Examinatrices : Susan Boynton
• Jury : Rapporteurs / Rapporteuses : Attilio Fiandrotti, Laurence Likforman-Sulem

Mots clés

Mots clés contrôlés

Explorations de graphes

Réseaux neuronaux (informatique)

Manuscrits médiévaux

Intelligence artificielle -- Musique

Mots clés libres

Apprentissage auxiliaire

Réseaux antagonistes

Graphe de connaissances

Réseaux de neurones

Patrimoine culturel

Études des manuscrits médiévaux

Auxiliary learning

Adversarial training

Knowledge Graph Embeddings

Neural Network Embeddings

Cultural Heritage

Medieval Manuscript Studies

Résumé

Cette thèse se situe à l'intersection de la musicologie et de l'intelligence artificielle, et vise à exploiter l'IA pour aider les musicologues dans leur travail répétitif, comme la recherche d'objets dans les manuscrits du musée. Nous avons annoté quatre nouveaux ensembles de données pour l'étude des manuscrits médiévaux : AMIMO, AnnMusiconis, AnnVihuelas et MMSD. Dans la deuxième partie, nous améliorons les performances des détecteurs d'objets en utilisant des techniques de Transfer learning et de Few Shot Object Detection.Dans la troisième partie, nous discutons d'une approche puissante de Domain Adaptation, qui est auxiliary learning, où nous formons le modèle sur la tâche cible et une tâche supplémentaire qui permet une meilleure stabilisation du modèle et réduit le over-fitting.Enfin, nous abordons l'apprentissage auto-supervisé, qui n'utilise pas de méta-données supplémentaires en tirant parti de l'approche de adversarial learning, forçant le modèle à extraire des caractéristiques indépendantes du domaine.

This thesis is at the intersection of musicology and artificial intelligence, aiming to leverage AI to help musicologists with repetitive work, such as object searching in the museum's manuscripts. We annotated four new datasets for medieval manuscript studies: AMIMO, AnnMusiconis, AnnVihuelas, and MMSD. In the second part, we improve object detectors' performances using Transfer learning techniques and Few Shot Object Detection.In the third part, we discuss a powerful approach to Domain Adaptation, which is auxiliary learning, where we train the model on the target task and an extra task that allows for better stabilization of the model and reduces over-fitting.Finally, we discuss self-supervised learning, which does not use extra meta-data by leveraging the adversarial learning approach, forcing the model to extract domain-independent features.