De l'acquisition à la représentation et à la production : modélisation computationnelle multi-échelle de la parole

Multi-scale computational modeling of speech : from acquisition to representation and production

• Auteur / Autrice : Xiaodan Chen
• Direction : Mathias Quoy, Alexandre Pitti, Nancy F. Chen
• Type : Thèse de doctorat
• Discipline(s) : Sciences et Technologies de l'Information et de la Communication
• Date : Soutenance le 27/02/2026
• Etablissement(s) : CY Cergy Paris Université
• Ecole(s) doctorale(s) : École doctorale Économie, Management, Mathématiques, Physique et Sciences Informatiques (Cergy-Pontoise, Val d'Oise)
• Partenaire(s) de recherche : Laboratoire : Equipes Traitement de l'Information et Systèmes (Cergy-Pontoise, Val d'Oise ; 2002-....)
• Partenaire(s) de recherche : Agence de recherche : Institute for infocomm research (Singapour ; 2002-....)
• Jury : Président / Présidente : Christian Dan Vodislav
• Jury : Examinateurs / Examinatrices : Mathias Quoy, Alexandre Pitti, Nancy F. Chen, Nicolas Rougier, Bahia Guellaï, Rong Tong
• Jury : Rapporteurs / Rapporteuses : Nicolas Rougier, Bahia Guellaï
• DOI : 10.70675/0b19ebffz27c9z4d7cz8faeza618b656bd93

Mots clés

Mots clés contrôlés

Processus perceptivomoteurs

Décodage neuronal

Électromyographie

Apprentissage automatique

Mots clés libres

Sensorimoteur Précoce

Structure Séquentielle

Décodage Neuromusculaire

Perceptual Narrowing

Codage par Ordre de Rang

Self-Training

Sensorimotor Mapping

Sequence Structure

Electromyography (EMG)-To-Speech

Perceptual Narrowing

Rank Order Coding

Self-Training

Résumé

Comment le cerveau apprend-il, représente-t-il et produit-il la parole ? Déchiffrer ces principes computationnels constitue un enjeu central tant pour les sciences cognitives que pour l'intelligence artificielle. Cette thèse présente une étude unifiée de cette problématique à travers trois projets interconnectés qui modélisent la hiérarchie du traitement de la parole, partant de l'acquisition des sons de parole jusqu'à la représentation séquentielle structurelle, pour aboutir finalement à la production neuromusculaire de la parole. Le premier projet modélise le développement sensorimoteur précoce. Nous développons un réseau neuronal compact et interprétable simulant l'apprentissage de la parole chez le nourrisson. Le modèle montre comment l'exposition à la langue maternelle façonne la perception auditive de base. Il révèle également le rôle du codage prédictif comme mécanisme d'apprentissage continu pendant la « période critique », permettant l'ajustement aux régularités acoustiques de la langue maternelle tout en préservant la capacité fondamentale à en acquérir d'autres. Ce projet établit les fondements d'une primitive sensorimotrice audio-articulatoire pour les traitements de niveau supérieur. Le deuxième projet examine l'organisation de ces primitives en séquences. Nous proposons un modèle de codage par ordre de rang, inspiré du circuit de Broca, qui démontre une capacité de généralisation proto-syntaxique : robuste aux variations de surface, il reste sensible aux violations de règles abstraites, à l'instar de la réponse neurophysiologique P3b observée face à des nouveautés structurelles. Ce travail met en lumière un lien développemental crucial entre l'apprentissage sensorimoteur et l'émergence de la structure phonologique. Le troisième projet applique ce cadre cognitif à un défi d'ingénierie : la pénurie de données pour les modèles de conversion de l'électromyographie vocale en parole (Voiced Electromyography-to-Speech, V-ETS). Nous y introduisons une méthode d'auto-apprentissage multi-locuteurs basée sur la confiance phonémique (Confidence-based Multi-Speaker Self-training, CoM2S). Son innovation principale est un filtre de sélection exploitant les unités distinctives de la langue (les phonèmes) pour identifier des données synthétiques de haute qualité, améliorant ainsi significativement les performances des systèmes V-ETS.Collectivement, ces projets forment une étude hiérarchique de la parole : de l'acquisition des primitives sensorimotrices, à leur organisation en séquences structurées, jusqu'à l'application du phonème comme signal de supervision pour le décodage articulatoire. Ce travail démontre que des représentations ancrées dans la cognition ouvrent la voie à des technologies de la parole plus robustes et économes en données, établissant ainsi une boucle féconde entre les mécanismes cérébraux du langage et la conception de systèmes artificiels.

Understanding the computational and neural principles underlying speech acquisition, representation, and production is a fundamental challenge in cognitive science and artificial intelligence. This thesis presents a unified investigation into this problem through three interconnected projects that model the hierarchy of speech processing, from early infancy to late infancy, and from early speech sound acquisition, to structural sequence representation, and finally to neuromuscular speech production. This journey begins with a model of infant sensorimotor development. We develop a compact and interpretable neural network to simulate early vocal learning. The model demonstrates how exposure to a native language shapes low-level auditory perception, and reveals how predictive coding, as a mechanism of continual learning during a ''critical period'', facilitates attunement to native-language acoustic patterns (L1), while preserving a foundational capacity to acquire non-native (L2) distinctions. This establishes how a developmental critical period can emerge from fundamental principles of online learning, and posits the sensorimotor primitive as a core, self-organized unit of linguistic computation. Next, we investigate how the brain organizes sequences of these sensorimotor states into structured motor sequences. A rank-order coding network, inspired by Broca's circuit, serves as a model for this process. It exhibits proto-syntactic generalization, proving robust to superficial changes but highly sensitive to abstract rule violations, mirroring the P3b neurophysiological response to structural novelty. This work forges a crucial developmental link between early sensorimotor speech learning and the emergence of phonological structure in speech. The final project applies this cognitive perspective to a pressing engineering problem: the scarcity of data for Voiced Electromyography-to-Speech (V-ETS) systems. We introduce a Confidence-based Multi-Speaker Self-training (CoM2S) framework. Its key innovation is a phoneme-error-based filter, which uses the categorical linguistic unit to select high-quality synthetic data, thereby overcoming the data bottleneck and enhancing speech generation.Together, these projects form a multi-scale investigation of speech, spanning from the acquisition of sensorimotor primitives, to their organization into structured sequences, and finally to the application of the phoneme as a supervisory signal for articulatory decoding. We therefore argue that a cognitively-inspired, multi-scale approach bridging early sensorimotor acquisition, structure representation, and speech production, offers a principled framework for advancing both our understanding of speech processing and our capacity to engineer robust speech technologies.