Production de parole et contrôle prédictif des mouvements de la langue par le cerveau

Speech and predictive control of tongue movements by the brain

• Auteur / Autrice : Ny Tsiky Rakotomalala
• Direction : Pascal Perrier
• Type : Projet de thèse
• Discipline(s) : MBS - Modèles, méthodes et algorithmes en biologie, santé et environnement
• Date : Inscription en doctorat le ; Soutenance le 13/12/2024
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale ingénierie pour la santé, la cognition, l'environnement (Grenoble ; 1995-....)
• Partenaire(s) de recherche : Laboratoire : Grenoble Images parole signal automatique (2007-....)
• Partenaire(s) de recherche : Equipe de recherche : PCMD
• Jury : Président / Présidente : Jerôme Mars
• Jury : Examinateurs / Examinatrices : Pascal Perrier, Tiphaine Caudrelier, Emmanuel Guigon, Benjamin Parrell, Helene Loevenbruck
• Jury : Rapporteurs / Rapporteuses : Emmanuel Guigon, Benjamin Parrell

Mots clés

Mots clés libres

Planification motrice

Modèles Internes

Contrôle feedforward

Perturbations motrices en ligne

Contrôle moteur de la parole

Contrôleur Feedback Optimal

Feedforward control

Optimal feedback controller

Speech motor control

Motor planification

Internal models

Résumé

Au cours des dernières décennies, diverses incarnations de la théorie du contrôle optimal ont été utilisées pour expliquer le contrôle coordonné par le cerveau de plusieurs degrés de liberté redondants lors des mouvements des bras ou des yeux. Néanmoins, la question de savoir si ces méthodes complexes sont nécessaires ou même utiles fait encore l’objet de débats. En particulier, lors de la parole, la biomécanique s’avère à elle seule jouer un rôle majeur dans la formation des trajectoires (Perrier et al. 2003). Pour répondre à cette question, cette thèse a développé un modèle de contrôle de la production vocale intégrant un cadre de contrôle optimal visant à minimiser l’effort (Todorov and Jordan 2002), et l’a opposé à un modèle de contrôle de la production vocale appelé GEPPETO, qui repose uniquement sur un contrôle anticipatif basé sur l’hypothèse du point d’équilibre (Patri, Diard, and Perrier 2015). Puisque les deux modèles contrôlent le même modèle du conduit vocal qui intègre l’effet crucial de la biomécanique orofaciale et un modèle harmonique de la transformation articulatoire-acoustique, les trajectoires générées avec les différentes stratégies de contrôle peuvent être comparées. En plus de cela, le cadre de contrôle de rétroaction optimale stochastique peut être utilisé pour étudier les réponses en ligne aux perturbations du feedback sensoriel. L’incorporation de bruit additif et dépendant du signal au niveau des retours sensoriels et des commandes motrices rend le modèle encore plus réaliste. Ainsi, nous pouvons prendre en compte l’impact de la variabilité motrice et sensorielle tout en préservant l’idée d’une allocation optimale de l’effort. De plus, nous pouvons explorer comment l’interaction entre les contraintes biomécaniques et les caractéristiques des retours sensoriels peut expliquer le contrôle audiomoteur en ligne. Enfin, puisque le contrôle optimal permet de prédire les trajectoires de mouvement, il ouvre la voie à l’étude d’une caractéristique importante qui a été peu explorée dans la modélisation du contrôle moteur de la parole : la coarticulation qui se produit lorsque des unités de pa- role successives s’influencent mutuellement aux niveaux articulatoire et acoustique. . Dans la littérature, il a souvent été suggéré que l’unité de planification de la production vocale chez l’adulte est la syllabe (Bullock and Rhodes 2003, Levelt and Wheeldon 1994). Cependant, de nouvelles études (Ma, Perrier, and Dang 2015) ont rapporté des effets de coarticulation anticipatifs sur toute la séquence VCV en français mais pas en mandarin, et une planification au niveau supra-syllabique (Zeng, Niziolek, and Parrell 2023). À la fin de cette thèse, nous avons examiné l’impact des variations dans la spécification de notre modèle sur les modèles de coarticulation au sein et entre les syllabes des mots bi-syllabiques. En conclusion, dans cette thèse, nous illustrons comment le cadre de la théorie du contrôle optimal, combiné à l’effet de la biomécanique, peut rendre compte de divers aspects de la production de la parole. Tout d’abord, nous le présentons en contraste avec le modèle GEPPETO qui repose uniquement sur la biomécanique. Puis avec l’étude des feedbacks auditifs, aspect manquant dans le modèle GEPPETO. Enfin, nous étendons l’étude de modélisation évaluant les effets coarticulatoires initiée par (Perrier and Ma 2008).

In the last decades, various incarnations of optimal control theory have been used to account for the brain’s coordinated control of several, redundant degrees of freedom during arm or eye movements. Nevertheless, whether such complex methods are necessary or even useful is still debated. In particular, during speech, biomechanics alone proved to play a major role in trajectory formation (Perrier et al. 2003). To address this question, this thesis developed a speech production control model integrating an optimal control framework aiming to minimize effort (Todorov and Jordan 2002), and pitted it against a speech production control model called GEPPETO, that relies only on feedforward control based on the equilibrium point hypothesis (Patri, Diard, and Perrier 2015). Since both models control the same model of the vocal tract that integrates the crucial effect of orofacial biomechanics and a harmonic model of the articulatory-to-acoustic transformation, trajectories generated with the different control strategies can be directly compared. In addition to that, the stochastic optimal feedback control framework can be used to study online responses to perturbations of the sensory feedback. The incorporation of additive and signal dependent-noise at the level of sensory feedbacks and motor commands, makes the model even more realistic. Thus, we can account for the impact of motor and sensory variability while preserving the idea of optimal effort allocation. Furthermore, we can explore how the interaction between biomechanical constraints and characteristics of the sensory feedbacks can explain human online audiomotor control. Finally, since optimal control allows to predict movement trajectories, it opens up the study of an important feature that hasn’t been much explored in speech motor control modelling: the coarticulation that happens when successive speech units affect each other on the articulatory and acoustic levels. In the litterature, it has often been suggested that the units of speech production planning in adults is the syllable (Bullock and Rhodes 2003, Levelt and Wheeldon 1994). However, new studies (Ma, Perrier, and Dang 2015) reported anticipatory coarticulation effects across whole VCV sequence in French but not in Mandarin, and planning at the supra-syllabic level (Zeng, Niziolek, and Parrell 2023). In the end of this thesis, we considered how variations in the specification of our model impacted coarticulation patterns within and across syllables in bi-syllabic words. In conclusion, in this thesis we are illustrating how the framework of optimal control theory, combined with the effect of biomechanics can account for various aspects of speech produc- tion. First, we present it in contrast with the GEPPETO model that relies on biomechanics only. Then with the study of auditory feedbacks, a missing aspect in the GEPPETO model. Finally, we extend the modelling study assessing coarticulatory effects that (Perrier and Ma 2008) started.