Les composantes de la parole dans la caractérisation phonétique du locuteur : étude sur la complémentarité et la redondance véhiculées des informations

Speech components in phonetic characterisation of speakers : a study on complementarity and redundancy of conveyed information

• Auteur / Autrice : Gabriele Chignoli
• Direction : Cédric Gendrot
• Type : Thèse de doctorat
• Discipline(s) : Phonétique, phonologie et sciences de la parole
• Date : Soutenance le 15/09/2022
• Etablissement(s) : Paris 3
• Ecole(s) doctorale(s) : École doctorale Sciences du langage (Paris ; 2019-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire de phonétique et phonologie (Paris)
• Jury : Président / Présidente : Christine Meunier
• Jury : Examinateurs / Examinatrices : Cédric Gendrot, Christine Meunier, Damien Lolive, Ioana Vasilescu, Jean-François Bonastre, Cécile Fougeron
• Jury : Rapporteur / Rapporteuse : Damien Lolive, Ioana Vasilescu

Mots clés

Mots clés contrôlés

Réseaux neuronaux (informatique)

Voix parlée

Voix -- Physiologie

Mots clés libres

Locuteur

Caractéristiques

Composantes

Cnn

Spontané

Clustering

Informativité

Comparaison

Speaker

Characteristics

Components

Cnn

Spontaneous

Clustering

Informedness

Comparison

Résumé

La décomposition du signal vocal en unités phonétiquement significatives permet d'analyser les variations inter- et intra- locuteur. Ces unités sont des composantes associées à des caractéristiques dont la nature est liée aux aspects physiques, psychologiques et sociaux d'un locuteur. Dans cette thèse, nous comparons une caractérisation perceptive, une analyse phonétique et des techniques de modélisation avancées par des réseaux de neurones à convolution (CNN).L'analyse des clusterings montre que les résultats perceptifs sont cohérents avec ceux obtenus par les approches CNN et phonétique, ce qui soutient leurs applications en phonétique. Nos résultats mettent en évidence que les spectrogrammes sont la représentation de la parole la plus précise pour l'identification des locuteurs (96% de bonnes réponses en moyenne). Les formants et des harmoniques plus élevés sont plus importants dans la caractérisation des voix féminines. En revanche, les caractéristiques de la qualité de la voix, telles que le souffle et la raucité, jouent un rôle majeur dans la caractérisation des voix masculines. Le lien entre les coefficients cepstraux à fréquence Mel (MFCC) et les mesures phonétiques classiques est également examiné. Les MFCC sont principalement liés à l'intensité et à f0 dans la caractérisation des voix féminines, tandis qu'aux distributions d'énergie et à la forme spectrale de bas niveau pour celle des voix masculines.Nos résultats confirment l'importance de la description de la variation intra-locuteur pour une compréhension plus complète des différences entre locuteurs.

The decomposition of the speech signal into phonetically meaningful units allows the analysis of between- and within- speaker variations. These are components associated with characteristics whose nature relates to the physical, psychological and social aspects of a speaker. In this thesis, we compare perceptual characterisation results with a phonetic analysis and advanced modelling techniques through Convolutional Neural Networks (CNN).Clusterings’ analysis shows that the perceptual results are coherent with those obtained by the CNN and phonetic approaches, which supports the application of these methods in Phonetics. Our results highlight that spectrograms are the most accurate speech representation for speaker identification (96% correct answers on average). Higher formants and harmonics are more important in the characterisation of female voices. Whereas, voice quality characteristics, such as breathiness and hoarseness, play a major role in the characterisation of male speakers. The comparison between Mel Frequency Cepstral Coefficients (MFCC) and classical phonetic measurements is also examined. The MFCC are mainly linked to intensity and f0 in the characterisation of female speakers, while to the distributions of energy and low level spectral shape for male speakers.Our findings confirm the importance of describing the within-speaker variation for a more complete understanding of between-speakers differences.