Voks : une famille d'instruments vocaux basée sur le reséquencement syllabique d'échantillons vocaux

Voks : A Vocal Instrument Family Based on Syllabic Sequencing of Vocal Samples

• Auteur / Autrice : Grégoire Locqueville
• Direction : Christophe d' Alessandro, Boris Doval
• Type : Thèse de doctorat
• Discipline(s) : Ingénierie
• Date : Soutenance le 20/06/2022
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Sciences mécaniques, acoustique, électronique et robotique de Paris (2000-....)
• Partenaire(s) de recherche : Laboratoire : Institut Jean Le Rond d'Alembert (Paris ; 2006-....)
• Jury : Président / Présidente : Thierry Dutoit
• Jury : Examinateurs / Examinatrices : Sylvie Gibet, Claire Pillot-Loiseau, Axel Roebel
• Jury : Rapporteurs / Rapporteuses : Marcelo M. Wanderley, Nathalie Henrich-Bernardoni

Mots clés

Mots clés contrôlés

Acquisition linguistique

Traitement du signal -- Techniques numériques -- Appareils et matériel

Interaction humain-machine

Synthèse de la voix

Mots clés libres

Synthèse vocale

Rythme

Musique

Parole

Interaction homme machine

Apprentissage des langues

Vocal synthesis

Human computer interaction

Foreign language learning

Résumé

Nous présentons l'étude de Voks, une famille d'instruments vocaux qui permettent le contrôle par les mains de l'intonation, du séquencement rythmique et de paramètres de qualité vocale d'une voix articulée. Cette thèse développe particulièrement la question du contrôle rythmique. Sa gestion, inspirée par la théorie cadre/contenu de production de la parole, repose sur la mise en correspondance d'impulsions résultant d'un geste de tapping biphasique, d'une part, avec des points de contrôle placés sur un échantillon de voix pré-enregistré d'autre part. Ce mode de fonctionnement met en jeu une boucle complexe impliquant à la fois la production gestuelle et la perception auditive du rythme, que la notion de centre perceptif, ou P-center, permet de modéliser. Le contrôle manuel direct de la mélodie et de l'effort vocal, ou chironomie, est réalisé par des contrôleurs continus tels que la tablette graphique et le thérémine, des interfaces qui permettent des gestes expressifs nouveaux. Pour la synthèse, deux vocodeurs différents, World et SuperVP, sont intégrés à Voks et comparés. Ils permettent le contrôle de la mélodie, du rythme et du timbre de la voix. Voks utilise en entrée des échantillons de voix munis d'étiquettes syllabiques, des données qui peuvent être fournies directement ou générées automatiquement à la volée. La famille d'instruments Voks est appliquée à la musique et à l'apprentissage de langues étrangères.

The study of Voks is presented here. Voks is a family of vocal instruments that allows for control, using one’s hands, of intonation, rhythmic sequencing, and vocal quality parameters of an articulated voice. This dissertation focuses more specifically on the question of rhythmic control, which is here based on the frame/content theory of speech production. It relies on matching impulsions produced by a biphasic tapping gesture, with control points placed on a prerecorded voice sample. This mode of operation relies on a complex loop that involves both gestural production and auditory perception of rhythm, which can be modeled by the notion of the P-center, or perceptual center. Direct manual control of melody and vocal effort, also known as chironomy, is performed using continuous controllers such as the graphic tablet and the theremin, enabling new expressive gestures. For synthesis, two distinct vocoders, World and SuperVP, are integrated into Voks and compared. They make it possible to control melody, rhythm and vocal timbre. Voks takes as input voice samples equipped with syllabic labels; those data can be either directly fed as input or generated automatically on the fly. The Voks instrument family has been applied to music and to foreign language acquisition.