Exploitation de la prosodie pour la segmentation et l'analyse automatique de signaux de parole

Exploitation of prosodie for automatic segmentation and analyse of speech signal

• Auteur / Autrice : Vu Minh Quang
• Direction : Eric Castelli
• Type : Thèse de doctorat
• Discipline(s) : Informatique. Systèmes et logiciels
• Date : Soutenance en 2007
• Etablissement(s) : Grenoble INPG en cotutelle avec Institut polytechnique de Hanoi

Mots clés

Mots clés libres

Indexation

Détection de questions

Modèle prosodique

Modèle lexical

Recherche d'informations multimédia

Arbre de décision

Traitement de parole

Reconnaissance

Résumé

Cette thèse se situe à la frontière des domaines du traitement automatique de la parole et de la recherche d'informations multimédia. Ces dernièn une nouvelle tâche est apparue dans le domaine du traitement automatique de la parole: la transcription enrichie d'un document audio. Parmi les informations extra-linguistiques transportées par la parole, une meta-donnée importante pour la transcription enrichie concerne l'information sur l, des phrases parlées (c'est-à-dire les phrases sont-elles du type interrogatif ou affirmatif ou autre). Notre étude a principalement porté sur la différ prosodique entre les phrases de type affirmatif et de type interrogatif pour les langues française et vietnamienne, la détection et la classification a du type de phrase pour chacune des deux langues et la comparaison des stratégies spécifiques à chacune des deux langues. Nous avons commen travail par l'étude sur la langue française. Nous avons ainsi réalisé un système de segmentation et détection automatique de type de phrases basé sur l"information prosodique et sur l"information lexicale. Le système a été validé sur des corpus de parole spontanée de la vie courante qui sont l'enregistrement de conversations téléphoniques entre un client et une agence de tourisme, des entretiens d'embauche ou des réunions de projet. Cette première étude sur la langue française, nous avons élargit notre recherche en travaillant sur la langue vietnamienne, une langue où les étud, sur le système prosodique sont encore toutes préliminaires. Nous avons d'abord poursuivi une étude pour identifier la différence prosodique entre phrases interrogatives et affirmatives à la fois sur le plan de production et sur le plan de perception. Ensuite, sur la base de ces résultats, un mot, classification a été construit.

This thesis work is at the frontier between multimedia information retrieval and automatic speech processing. During the last years, a new task en speech processing: the rich transcription of an audio document. An important meta-data for rich transcription is the information on sentence type sentence of interrogative or affirmative type). The study on the prosodie differences between these two types of sentences in Vietnamese languaç detection and classification of sentence type in French language and in Vietnamese language is the main subject of this research work. Our depar1 study on French language. We've realized a system for segmentation and automatic detection of sentence type based on both prosodie and lexica information. The system has been validated on real world spontaneous speech corpus which are recording of conversations via telephone, betwee and a tourism office staff, recruiting interview, project meeting. After this first study on French, we've extended our research in Vietnamese langui language where ail studies until now on prosodie system are still preliminary. We've carried a study on the prosodie differences between interroga affirmative sentences in both production and perception levels. Next, based on these results, a classification motor has been built.