Toward universal speech synthesis : harnessing linguistic and stylistic embeddings for expertise-free and flexible systems

par Antoine Perquin

Thèse de doctorat en Informatique

Sous la direction de Laurent Amsaleg.

Soutenue le 12-02-2021

à Rennes, INSA , dans le cadre de École doctorale Mathématiques et sciences et technologies de l'information et de la communication (Rennes) , en partenariat avec Institut de recherche en informatique et systèmes aléatoires (Rennes) (laboratoire) , Institut de Recherche en Informatique et Systèmes Aléatoires / IRISA (laboratoire) et de Institut de Recherche en Informatique et Systèmes Aléatoires / IRISA (laboratoire) .

Le président du jury était Pascale Sébillot.

Le jury était composé de Laurent Amsaleg, Pascale Sébillot, Georges Linarès, Philip N. Garner, Géraldine Damnati, Camille Guinaudeau.

Les rapporteurs étaient Georges Linarès, Philip N. Garner.

  • Titre traduit

    Vers une synthèse de parole universelle : Utilisation d’embeddings linguistiques et stylistiques pour des systèmes flexibles et sans expertise


  • Résumé

    La synthèse vocale est une technologie permettant de générer un échantillon de parole correspondant à la lecture d'un texte. La majorité des systèmes commerciaux repose sur une expertise linguistique, et sont limités à générer des échantillons avec une voix unique, dans un seul style de parole. Pour que la synthèse vocale devienne universelle, elle doit être facilement personnalisable et permettre de produire de nombreux styles de parole. Cette thèse à deux buts. 1)Étudier la possibilité de diminuer l'expertise linguistique nécessaire pour construire ou modifier un système de synthèse vocale. 2) Étudier la possibilité de synthétiser de la parole pour différents locuteurs, avec leur voix et accents régionaux respectifs. Ce manuscrit propose trois contributions.Premièrement, l'utilisation de la propriété d'embedding des réseaux de neurones pour diminuer l'expertise linguistique d'un système de synthèse par sélection d'unités. Deuxièmement, l'utilisation d' embeddings de caractères pour éliminer toute expertise linguistique d'un système de synthèse bout en bout. Enfin, la modélisation explicite des caractéristiques de locuteurs et d'accents à l'aide d' embeddings pour conditionner un modèle bout en bout et ainsi construire un système de synthèse vocale multi-locuteurs multi-accents.


  • Résumé

    Text-to-speech synthesis (TTS) turns a written text into an audio speech signal. Many commercial systems rely on human linguistic expertise, while being limited to synthesize speech for a single speaker voice and speaking style. For speech synthesis to become universal in its usage and abilities, it must be easily customizable while being able to produce widely varied speech. The goal of this thesis is two-fold. 1) To study whether it is possible alleviate the need for human linguistic expertise to build or modify a TTS system. 2) To study whether it is possible to produce speech corresponding to different speakers, with their respective tone and regionalism accent. This manuscript presents three contributions. First, we show that the embedding property of neural networks can be used to lower the amount of expertise in unit selection speech synthesis. Second,we show that character embeddings can remove all linguistic expertise for end-to-end systems. Finally, we attempt to explicitly model speaker and accent characteristics in order to build a multi-speaker multi-accent end-to-end speech synthesis system.


Il est disponible au sein de la bibliothèque de l'établissement de soutenance.

Consulter en bibliothèque

La version de soutenance existe

Où se trouve cette thèse\u00a0?

  • Bibliothèque : Institut National des Sciences Appliquées. Bibliothèque.
Voir dans le Sudoc, catalogue collectif des bibliothèques de l'enseignement supérieur et de la recherche.