Reconnaissance de la parole pour l’aide à la communication pour les sourds et malentendants

par Luiza Orosanu

Thèse de doctorat en Informatique

Sous la direction de Denis Jouvet.

Soutenue le 11-12-2015

à l'Université de Lorraine , dans le cadre de École doctorale IAEM Lorraine - Informatique, Automatique, Électronique - Électrotechnique, Mathématiques de Lorraine , en partenariat avec Laboratoire lorrain de recherche en informatique et ses applications (laboratoire) .

Le président du jury était Bernard Girau.

Le jury était composé de Martine Adda-Decker, Régine André-Obrecht.

Les rapporteurs étaient Laurent Besacier, Georges Linarès.

mots clés

• Reconnaissance de la parole
• Syllabes
• Modèles de langage hybrides
• Mots hors vocabulaire
• Mots similaires
• Détection de questions
• Reconnaissance automatique de la parole
• Sourds -- Communication
• Handicapés auditifs -- Communication
• Prosodie (linguistique)

Résumé

Cette thèse fait partie du projet RAPSODIE dont l’objectif est de proposer une reconnaissance vocale spécialisée sur les besoins des personnes sourdes et malentendantes. Deux axes sont étudiées : la modélisation lexicale et l’extraction d’informations para-lexicales. Concernant la modélisation lexicale, nous avons étudié les modèles de langage hybrides combinant mots et syllabes, et nous avons proposé une nouvelle approche basée sur une notion de similarité entre mots pour l’ajout de nouveaux mots dans le modèle de langage. Concernant l’extraction d’informations para-lexicales, nous avons étudié l'utilisation des paramètres prosodiques, des paramètres linguistiques ou de leur combinaison pour la détection des questions et des affirmations. Cette détection a comme but de signaler aux personnes sourdes ou malentendantes quand une question leur est adressée

mots clés

• Speech recognition
• Syllables
• Hybrid language models
• Out-Of-Vocabulary words
• Similar words
• Question detection

Titre traduit

Speech recognition as a communication aid for deaf and hearing impaired people

Résumé

This thesis is part of the RAPSODIE project which aims at proposing a speech recognition device specialized on the needs of deaf and hearing impaired people. Two aspects are studied: optimizing the lexical models and extracting para-lexical information. Regarding the lexical modeling, we studied hybrid language models combining words and syllables, and we proposed a new approach based on a similarity measure between words to add new words in the language model. Regarding the extraction of para-lexical information, we investigated the use of prosodic features, of linguistic features and of their combination for the detection of questions and statements. This detection aims to inform the deaf and hearing impaired people when a question is addressed to them