Simulation en temps réel d'effets audio non-linéaires par intelligence artificielle

Real-time simulation of nonlinear audio effects using artificial intelligence

• Auteur / Autrice : Tara Vanhatalo
• Direction : Myriam Desainte-Catherine, Pierrick Legrand
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques appliquées et calcul scientifique
• Date : Soutenance le 29/04/2024
• Etablissement(s) : Bordeaux
• Ecole(s) doctorale(s) : École doctorale Mathématiques et informatique (Talence, Gironde ; 1991-....)
• Partenaire(s) de recherche : Laboratoire : Institut de mathématiques de Bordeaux
• Jury : Président / Présidente : Louis Bigo
• Jury : Examinateurs / Examinatrices : Juliette Chabassier, Emilia Gómez Gutiérrez, Pierre Hanna
• Jury : Rapporteurs / Rapporteuses : Isabel Barbancho Pérez, Joshua Reiss

Mots clés

Mots clés contrôlés

Modèles mathématiques

Effets sonores

Réseaux neuronaux (informatique)

Apprentissage profond

Intelligence artificielle -- Musique

Mots clés libres

Modélisation d’effets audio

Réseaux de neurones

Modélisation de distorsion

Deep learning

Audio effects modelling

Neural networks

Distortion modelling

Deep learning

Résumé

Certains produits du domaine de la technologie musicale présentent des caractéristiques sonores uniques et recherchées par les musiciens. Ces caractéristiques sont souvent dues aux non-linéarités de leurs circuits électroniques. Nous cherchons à préserver le son de ces appareils par le biais de simulations numériques et à les rendre largement accessibles à de nombreux musiciens. Ce domaine d’étude a connu une forte augmentation de l’utilisation des réseaux de neurones pour la simulation au cours des dernières années. Dans ce travail, nous proposons d’utiliser les réseaux neuronaux pour cette tâche. En particulier, nous nous concentrons sur les méthodes de boîte noire capables de fonctionner en temps réel pour la modélisation des effets non linéaires, tout en gardant les contraintes du guitariste à l’esprit. Nous couvrons l’état actuel des connaissances et identifions les domaines qui méritent d’être améliorés ou étudiés, avec pour objectif final le développement d’un produit. La première étape, qui consiste à identifier les architectures capables de traiter en temps réel et en continu, est suivie par l’augmentation et l’amélioration de ces architectures et de leur pipeline d’apprentissage grâce à un certain nombre de méthodes. Ces méthodes comprennent l’intégration continue avec des tests unitaires, l’optimisation automatique des hyperparamètres et l’utilisation de l’apprentissage par transfert. Un prototype en temps réel utilisant un backend C++ personnalisé est créé à l’aide de ces méthodes. Une étude sur l’anticrénelage en temps réel pour les modèles boîte noire est présentée, car il a été constaté que ces réseaux présentent de grandes quantités de distorsion d’anticrénelage. Le travail sur l’incorporation du contrôle de l’utilisateur a également commencé pour une simulation complète des systèmes analogiques. Cela permet à l’utilisateur final de disposer d’une gamme complète de possibilités de modification de la tonalité. Les performances des approches présentées sont évaluées de manière objective et subjective. Enfin, un certain nombre d’orientations possibles pour les travaux futurs sont également présentées.

Certain products in the realm of music technology have uniquely desirable sonic characteristics that are often sought after by musicians. These characteristics are often due to the nonlinearities of their electronic circuits. We are concerned with preserving the sound of this gear through digital simulations and making them widely available to numerous musicians. This field of study has seen a large rise in the use of neural networks for the simulation in recent years. This work applies neural networks for the task. Particularly, we focus on real-time capable black-box methods for nonlinear effects modelling, with the guitarist in mind. We cover the current state-of-the-art and identify areas warranting improvement or study with a final goal of product development. A first step of identifying architectures capable of real-time processing in a streaming manner is followed by augmenting and improving these architectures and their training pipeline through a number of methods. These methods include continuous integration with unit testing, automatic hyperparameter optimisation, and the use of transfer learning. A real-time prototype utilising a custom C++ backend is created using these methods. A study in real-time anti-aliasing for black-box models is presented as it was found that these networks exhibit high amounts of aliasing distortion. Work on user control incorporation is also started for a comprehensive simulation of the analogue systems. This enables a full range of tone-shaping possibilities for the end user. The performance of the approaches presented is assessed both through objective and subjective evaluation. Finally, a number of possible directions for future work are also presented.