Modélisation de mécanismes d'action-perception pour des gestes vocaux avec des réservoirs hiérarchiques

Modelling Action-Perception Mechanisms for Vocal Gestures with Hierarchical Reservoirs

• Auteur / Autrice : Nathan Trouvain
• Direction : Xavier Hinaut
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 24/01/2023
• Etablissement(s) : Bordeaux
• Ecole(s) doctorale(s) : École doctorale de mathématiques et informatique
• Partenaire(s) de recherche : Laboratoire : Laboratoire bordelais de recherche en informatique
• Partenaire(s) de recherche : Equipe de recherche : Images et Son

Mots clés

Mots clés libres

Réservoir-calcul

Modèle

Réseaux de neurones artificiels

Action-perception

Model

Action-perception

Reservoir computing

Artificial neural networks

Résumé

L'objectif général du projet est de construire un modèle neuronal dynamique du traitement et de la production vocale : le modèle devra être développemental, hiérarchique et utiliser des mécanismes d'action-perception. Ce modèle multi-échelle ira de l'imitation vocale sensorimotrice au traitement et à la production de longues séquences. Il utilisera des schémas d'apprentissage incrémental, avec une exploration dirigée vers un but et cherchera l'émergence de symboles. Nous voulons créer un mécanisme générique d'action-perception qui (i) permettrait à l'action et à la perception de se façonner mutuellement, (ii) tout en permettant d'amorcer le développement de représentations à partir de perceptions sonores brutes, et (iii) qui pourrait être empilé comme les couches d'une architecture hiérarchique. Dans ce projet de thèse, les méthodes développées seront basées sur les réservoirs, un type particulier de réseau neuronal récurrent (RNN). Un réservoir [3] est un réseau neuronal récurrent aléatoire composé d'unités non linéaires qui a été utilisé pour modéliser diverses zones corticales [2, 12]. Les réservoirs n'impliquent pas le déroulement du temps comme le BPTT utilisé dans les LSTM. Afin de construire des mécanismes de perception de l'action, nous intégrerons divers concepts d'apprentissage incrémental, développemental, par renforcement et non supervisé. En particulier, nous nous appuierons sur les résultats préliminaires que nous avons obtenus sur l'apprentissage distal avec des réservoirs [4]. Nous utiliserons et développerons également de nouvelles règles d'apprentissage par renforcement adaptées à l'informatique des réservoirs, telles que les règles exploratoires de Hebbian [7], que nous combinerons avec des règles d'apprentissage non supervisé que nous avons précédemment développées, telles que les cartes dynamiques auto-organisées (DSOM) [9]. De plus, nous améliorerons ces modèles avec un mécanisme robuste de mémoire à long terme que nous avons récemment développé [12]. Nous commencerons par implémenter l'architecture sensorimotrice complète que nous avons définie dans notre revue [8]. Nous nous appuierons sur nos résultats récents sur des données de parole humaine et de chant d'oiseaux. Par exemple, du côté des oiseaux chanteurs, nous avons construit un modèle sensorimoteur simple utilisant un réservoir comme décodeur perceptif, une simple règle d'apprentissage de Hebbian pour le modèle inverse, et un Generative Adversarial Network (GAN) comme générateur de sons à partir des commandes motrices. Ce modèle est capable de reproduire fidèlement des syllabes canaris en utilisant seulement un espace latent tridimensionnel [13, 14]. Afin de créer la couche centrale d'action-perception, les premières étapes seront d'incorporer un modèle avant et de remplacer le GAN par un réservoir. Par la suite, nous empilerons plusieurs de ces couches à différents niveaux de hiérarchie afin d'extraire des chunks (c'est-à-dire des groupes d'éléments acoustiques) de taille et de complexité croissantes. Les modèles seront amorcés à partir d'un apprentissage dirigé vers un objectif (par exemple, l'imitation vocale). Les caractéristiques du modèle ne seront pas prédéfinies par le modélisateur, mais elles émergeront à travers les processus de développement. Comme nous utiliserons des composants de modèles similaires, nous serons en mesure d'appliquer des méthodes d'analyse similaires, ce qui facilitera les analyses multi-échelles. Les mécanismes RNN développés seront appliqués à la parole humaine et aux chants d'oiseaux, car ils partagent des propriétés similaires adaptées au projet : les humains et les oiseaux apprennent à imiter les sons complexes produits par leurs congénères ; ils les apprennent au cours de leur développement à partir d'une phase d'exploration par babillage ; les chants d'oiseaux et le langage humain partagent tous deux une organisation hiérarchique des éléments avec des tailles de morceaux croissantes ; le contexte temporel est essentiel pour prendre des décisions sur les morceaux (c'est-à-dire la délimitation des morceaux). Des modèles de production vocale sont disponibles pour les humains et les oiseaux (par exemple, VocalTractLab pour la voix humaine) [8]. Les modèles génériques, tels que les réservoirs aléatoires, peuvent avoir un impact sur plusieurs domaines, ouvrant la voie à des adaptations potentielles à des tâches non vocales. Les méthodes et mécanismes neuronaux qui seront développés ne seront pas limités aux applications audio, mais seront suffisamment génériques pour être également appliqués à d'autres domaines tels que l'apprentissage de gestes moteurs. Comme ces méthodes seront basées sur l'apprentissage en ligne, incrémental et faiblement supervisé, elles pourraient fournir des méthodes plus efficaces utiles pour les domaines de l'apprentissage automatique et de l'intelligence artificielle. De plus, ces modèles sensorimoteurs seront utilisés comme outils pour analyser les données expérimentales en neurosciences de nos collaborateurs avec une nouvelle perspective, et pourraient aider à long terme à mieux comprendre les mécanismes à l'œuvre dans les thérapies de réhabilitation de la parole.

The general aim of the project is to build a dynamic neuronal model of vocal processing and production: the model should be developmental, hierarchical and use action-perception mechanisms. This multi-scale model will span from sensorimotor vocal imitation towards processing and production of long sequences. It will use incremental learning schemes, with goal-directed exploration and seek symbol emergence. We want to create a generic action-perception mechanism that (i) would enable action and perception to shape one another, (ii) while allowing to bootstrap the development of representations from raw sound perceptions, and (iii) which could be stacked as layers of a hierarchical architecture. In this PhD project the methods developed will be based on reservoirs, a particular type of Recurrent Neural Network (RNN). A reservoir [3] is a random recurrent neural network made of non-linear units that have been used to model various cortical areas [2, 12]. Reservoirs do not involve unfolding of time like BPTT used in LSTMs. In order to build action-perception mechanisms we will embed various concepts from incremental, developmental, reinforcement and unsupervised learning. In particular, we will build on top of preliminary results we have on distal learning with reservoirs [4]. We will also use and develop new reinforcement learning rules adapted to reservoir computing, such as Hebbian exploratory rules [7], that we will combine with unsupervised learning rules that we previously developed such as Dynamic Self-Organizing Maps (DSOM) [9]. Moreover, we will enhance such models with a robust long-term memory mechanism that we recently developed [12]. We will start by implementing the full sensorimotor architecture that we defined in our review [8]. We will build on our recent results both on human speech and birdsong data. For instance, on the songbird side, we built a simple sensorimotor model using a reservoir as the perceptive decoder, a simple Hebbian learning rule for the inverse model, and a Generative Adversarial Network (GAN) as the sound generator given the motor commands. This model is able to reproduce faithfully canary syllables using only 3-dimensional latent space [13, 14]. In order to create the core action-perception layer, the first steps will be to incorporate a forward model and replace the GAN by a reservoir. Later on, we will stack several of these layers at different levels of hierarchy in order to extract chunks (i.e. groups of acoustic elements) of increasing size and complexity. The models will be bootstrapped from goal-directed learning (e.g. vocal imitation). Model features will not to be predefined by the modeller but they will emerge through developmental processes. Because we will be using similar model components, we will be able to apply similar analysis methods, thus facilitating multi-scale analyses. The RNN mechanisms developed will be applied on human speech and bird songs, because both share similar properties adequate for the project: humans and birds learn to imitate the complex sounds that their fellows produce; they developmentally learn them starting from a babbling exploration phase; both bird songs and human language share a hierarchical organisation of elements with increasing chunk sizes; temporal context is key to make decisions on chunks (i.e. delimitation of chunk boundaries is ambiguous if the context is ignored); and vocal production models are available for both human and bird (e.g. VocalTractLab for human voice) [8]. Generic models, such as random reservoirs, can have a cross-domain impact, opening potential adaptations to non-vocal tasks. The methods and neural mechanisms that will be developed will not be limited to audio applications, but will be generic enough to be also applied to other domains such as motor gesture learning. Because such methods will be based on online, incremental and loosely supervised learning, they could provide more efficient methods useful for machine learning and artificial intelligence domains. Moreover, such sensorimotor models will be use as tools to analyse neuroscience experimental data of our collaborators with a new perspective, and could help in the long run to better understand mechanisms at work in speech rehabilitation therapies.