Multilingual speech recognition : adaptation of multilingual acoustic models towards a target language

• Auteur / Autrice : Rania Bayeh
• Direction : Gérard Chollet, Chafic Mokbel
• Type : Thèse de doctorat
• Discipline(s) : Signal et images
• Date : Soutenance en 2009
• Etablissement(s) : Paris, Télécom ParisTech

Mots clés

Mots clés contrôlés

Arabe (langue)

Modèles acoustiques

Reconnaissance automatique de la parole

Résumé

Le traitement de la parole est devenu une technologie clé et des systèmes de reconnaissance automatique de la parole (RAP) sont disponibles pour les langues populaires. Les utilisateurs de tels systèmes ne sont pas toujours des locuteurs natals et les conversations sont souvent un mélange de langues variées. Alors, un système pour la reconnaissance de plusieurs langues est nécessaire. Dans le cadre de la RAP multilingue et avec l'objectif de la modélisation acoustique universelle, cette thèse vise le «portage» des modèles acoustiques (MA) d'une langue peu-dotées à partir des MA d'une langue populaire. L’approche dite «portage» consiste à trouver une association entre les unités de la langue source et celles de la langue cible, initialiser les MA cibles à partir de cette association et finalement adapter ces modèles avec peu de données. Des méthodes «knowledge-driven» et «data-driven» sont étudiées pour l’association entre l’Arabe Standard (langue cible) et le Français (langue source) pour différents types d’élocution et d’applications. A partir des associations obtenues, chaque MA HMM cible indépendant du contexte (CI) est initialisé d'un seul modèle acoustique HMM source et une adaptation de ces modèles est appliquée. Pour l’initialisation des MA cible a partir de plusieurs MA source, de nouveaux modèles «multi-path» sont proposés. En plus, Les MA dépendant du contexte (CD) sont meilleure que ceux indépendant du contexte pour la RAP monolingue et multilingue. Alors, différentes méthodes sont ainsi proposées pour porter des MA CD d’une langue source à une langue cible avec peu de données. Toutes approches sont aussi validées pour une nouvelle langue, L’arabe dialectale.

Speech processing has become a key technology where different automatic speech recognition (ASR) systems are available for popular languages. With the constant interaction of different cultures, not all users of such systems are native speakers & conversations are often a mixture of several languages which is challenging for ASR. Therefore, a multilingual ASR system is needed. This thesis focuses on efficiently porting the acoustic models (AM) of an under resourced target language using the acoustic models of a more resourced source language with the goal of universal acoustic modeling. Different approaches are suggested & tested for porting models for the recognition of Modern Standard Arabic starting from French for different types of speech & applications. Porting includes the association of speech units, initialization & adaptation of AM. Initially, methods are proposed for the creation of one-to-one phone associations by a human expert or using an automatic data-driven approach. Initialization is done at the context independent level by copying Hidden Markov Models (HMM) target language phone models from a source language HMM phone model based on these associations. Resulting models are adapted using different amounts of target language data. Then, novel methods for one-to-many associations are introduced & multi-path models are used for initialization. Moreover, since the superiority of context dependency extends to cross-lingual & multilingual, different approaches are proposed to create context dependent AM for the under resourced target language using robust AM from a source language. Approaches are also validated for a new language, Colloquial Levantine Arabic.