Apprentissage automatique auto-supervisé de représentations de vocalisations de primates, de l'analyse à la synthèse

Self-supervised representation learning of primate vocalizations, from analysis to synthesis

• Auteur / Autrice : Jules Cauzinille
• Direction : Benoit Favre, Arnaud Rey
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 01/10/2022
• Etablissement(s) : Aix-Marseille
• Ecole(s) doctorale(s) : Ecole Doctorale Mathématiques et Informatique de Marseille
• Partenaire(s) de recherche : Laboratoire : LIS Laboratoire d'Informatique et Systèmes
• Partenaire(s) de recherche : Equipe de recherche : Traitement Automatique du Langage Ecrit et Parlé

Mots clés

Mots clés libres

Bioacoustique

Apprentissage de représentations latentes

Explicabilité

Synthèse de vocalisations animales

Traitement de la parole

Bioacoustics

Latent representation learning

Explainability

Animal vocalization synthesis

Zero-resource speech processing

Résumé

Adapter et entraîner des modèles d'apprentissage auto-supervisé de représentations acoustiques initialement destinés à la parole humaine dans un contexte ''zero-ressource'' mono-modal sur des vocalisations de primates. Utiliser ces entraînements ''hors-domaine'' à des fins de probing, notamment grâce à la synthèse vocale, et d'évaluation du biais humain propre aux différents modèles. Développer un outil de traitement automatique de vocalisations animales ne nécessitant aucune donnée annotée et donner accès à la recherche en bioacoustique à des technologies ayant déjà prouvé leur succès dans la recherche en parole humaine. Traiter la parole humaine et non-humaine ''conjointement'' à travers un même modèle informatique afin de soulever de nouvelles problématiques concernant l'interface entre communication de primates humains vs. non-humains et de questionner les origines du langage.

Train and adapt self-supervised learning models of acoustic representations initially designed for human speech on primate vocalizations. Use this “off-domain” training for probing purposes, in particular using speech synthesis, and to evaluate the human bias inherent to the different models. Develop a tool for automatic processing of animal vocalizations that does not require annotated data, and give bioacoustics research access to technologies that have already proved successful in speech processing. Process human and non-human speech “jointly” through single models in order to raise new issues concerning the interface between human vs. non-human primate communication and to question the origins of language.