Au delà des mots : utilisation des modèles de langage pour une synthèse vocale incrementale et adaptable au contexte linguistique

Beyond words : leveraging language models for incremental and context-aware text-to-speech synthesis

• Auteur / Autrice : Brooke Stephenson
• Direction : Thomas Hueber, Laurent Besacier, Laurent Besacier, Laurent Girin
• Type : Thèse de doctorat
• Discipline(s) : Signal, image, paroles, télécoms
• Date : Soutenance le 26/09/2023
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale électronique, électrotechnique, automatique, traitement du signal (Grenoble ; 199.-....)
• Partenaire(s) de recherche : Laboratoire : Grenoble Images parole signal automatique (2007-....) - Grenoble Images parole signal automatique (2007-....)
• Jury : Président / Présidente : Olivier Kraif
• Jury : Examinateurs / Examinatrices : Joakim Gustafson
• Jury : Rapporteurs / Rapporteuses : Damien Lolive, Mireia Farrus Cabeceran

Mots clés

Mots clés contrôlés

Orthophonie

Apprentissage profond

Prosodie (linguistique)

Synthèse de la voix

Mots clés libres

Traitement de la parole

Traitement des langues

Prosodie

Modèle de langage

Apprentissage profond

Technologies assistives

Speech processing

Natural language processing

Prosody

Language model

Deep learning

Assistive technology

Résumé

Cette thèse vise à améliorer les systèmes de synthèse vocale à partir du texte en ciblant deux axes, la réactivité et la qualité. En effet, les systèmes actuels présentent un délai important car l’utilisateur doit saisir le texte d’une phrase complète avant que cette dernière ne puisse être synthétisée. Lorsque utilisé comme voix de substitution par une personne présentant un trouble de la parole, ces systèmes ne permettent donc pas une interaction communicationnelle fluide. De plus, les systèmes actuels exploitent exclusivement le texte de la phrase à synthétiser en ignorant le contexte linguistique associé (fourni par exemple par les phrases précédentes). Dans cette thèse, nous proposons d’utiliser les modèles de langage neuronaux pour, (1) prédire le texte futur, à partir du texte déjà saisi, et ainsi débuter au plut tôt la synthèse d'un ou plusieurs mots - on parlera de synthèse incrémentale (2) capturer le contexte linguistique général associé à la phrase à synthétiser pour améliorer la qualité prosodique de la synthèse - on parlera de synthèse adaptée au contexte.Dans une première étude, nous étudions l'évolution des représentations internes d'un système TTS neuronal lorsque ce dernier synthétise un mot avec une connaissance seulement partielle des mots à venir (l’horizon). Une analyse statistique (de type forêts aléatoires) est utilisée pour déterminer quels sont les descripteurs linguistiques qui influent sur la stabilité de ces représentations internes. Enfin, nous complétons ces mesures objectives par un ensemble de tests perceptifs visant à quantifier la qualité prosodique en fonction de l’horizon considéré. Ces évaluations montrent que les systèmes TTS actuels exploitent un horizon d'environ 2 mots et que la stabilité de la représentation interne d’un mot dépend fortement de sa longueur.Notre seconde contribution porte sur le couplage d’un système TTS neuronal et d’un modèle de langage autoregressif tel que GPT, afin de prédire, au fur et à mesure de la saisie du texte, les mots suivants les plus probables. Les évaluations objectives et perceptives menées montrent que cette approche permet un bon compromis entre réactivité et naturel de la synthèse, mais reste très dépendante de la qualité de la prédiction du texte.Notre troisième contribution porte sur l'amélioration générale de la prosodie d'un système TTS et plus spécifiquement sur la prédiction de la focalisation contrastive d'une part, et sur la segmentation incrémentale d’un texte en groupes de souffle d'autre part. Il s'agit de tâches particulièrement difficiles car elles nécessitent l'extraction d'informations au niveau discursif. Nous proposons ici encore d'utiliser les modèles de langage pour capturer ces informations en exploitant un contexte linguistique plus large que la phrase à synthétiser. Plus spécifiquement, nous adaptons des modèles de type BERT ou GPT pour qu'ils prédisent directement des caractéristiques acoustiques associées à la focalisation contrastive, et à la présence de pauses dans le signal de parole.

Text-to-speech (TTS) technology has the potential to enable real-time communication for applications such as automatic interpreters or assistive technologies for the speech impaired. However, current TTS models are not optimized for such use cases because they require full-sentence inputs, leading to delays between conversation turns. Furthermore, these models are unaware of the surrounding context and are thus unable to adapt their prosody to suit the current situation. These limitations impede engagement and understanding. In this thesis, we aim to improve the suitability of TTS for interactive applications by addressing two main challenges. Firstly, we focus on reducing the time required to initiate speech synthesis while at the same time maintaining natural prosody. Secondly, we explore the prediction of appropriate prosodic features for a given linguistic context. Language models (LMs), known for their effectiveness in natural language processing tasks, are employed as a primary tool for investigation for both of these challenges.We begin by investigating the importance of degrees of lookahead (i.e., future words) for a vanilla, full-sentence TTS model. We do this by measuring the distance between the final internal representation of a word (i.e., when the full sentence is known) and the intermediate representations at each degree of lookahead. We also compare the prosodic quality of the outputs with a subjective test. Finally, we use random forest analysis to study which factors contribute the most to the stability of the internal representations (i.e., to determine whether the representation is likely to change or not). These tests show that word representations are shaped mostly by the next two words of lookahead and that word length is the largest predictor of stability.We then investigate the use of pseudo-future text (generated by a language model) to enhance incremental text-to-speech (iTTS) synthesis. By leveraging linguistic clues present in the already provided text, language models anticipate the future context, filling in missing information for prosody modelling purposes. The objective and perceptual evaluations carried out show that this approach offers a good compromise between responsiveness and naturalness of synthesis, but remains highly dependent on the quality of text prediction.Finally, we address the challenge of producing contextually appropriate speech. We identify an aspect of prosody modelling, contrastive focus on personal pronouns, which can be particularly challenging due to the high-level discursive knowledge which is often required for correct prediction. We evaluate the contribution pretrained LMs can make to this task compared to less linguistically sophisticated baselines. We also compare prediction accuracy with different amounts of context and test the control of prominence in the speech output. We go on to evaluate the use of LMs to guide speech segmentation for high input latency applications. We compare LM-informed methods with simpler count-based methods using subjective tests and a sentence verification test.