Reconnaissance automatique de la parole pour les locuteurs non natifs dans un environnement bruyant

Automatic speech recognition for non-native speakers in a noisy environment

• Auteur / Autrice : Raphael Bagat
• Direction : Irina Illina, Emmanuel Vincent
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 12/10/2023
• Etablissement(s) : Université de Lorraine
• Ecole(s) doctorale(s) : École doctorale IAEM Lorraine - Informatique, Automatique, Électronique - Électrotechnique, Mathématiques de Lorraine (1992-....)
• Partenaire(s) de recherche : Laboratoire : LORIA - Laboratoire Lorrain de Recherche en Informatique et ses Applications
• Partenaire(s) de recherche : Equipe de recherche : MULTISPEECH

Mots clés

Mots clés libres

Reconnaissance automatique de la parole

Accent non-natif

Apprentissage profond

Automatic speech recognition

Non-native accent

Deep learning

Résumé

Lorsqu'une personne a les mains occupées à effectuer une tâche comme conduire une voiture ou piloter un avion, la voix est une modalité d'interaction rapide et efficace. Ces dernières années, la reconnaissance automatique de la parole (ASR) basée sur l'apprentissage profond de bout en bout, qui optimise la probabilité de la séquence de caractères de sortie compte tenu d'un signal de parole d'entrée, a fait de grands progrès [Chan et al., 2016 ; Baevski et al., 2020 ; Gulati, et al., 2020]. Dans les communications aéronautiques, la langue anglaise est le plus souvent obligatoire. Malheureusement, de nombreux pilotes ne sont pas de langue maternelle anglaise et présentent un accent influencé par les mécanismes de prononciation de leur langue maternelle. Dans le cockpit d'un avion, la voix non maternelle des pilotes et les bruits environnants sont les défis les plus difficiles à relever pour parvenir à une ASR efficace. La parole non native pose plusieurs problèmes [Shi et al., 2021] : prononciations incorrectes ou approximatives, erreurs dans l'accord du genre et du nombre, utilisation de mots inexistants, articles manquants, phrases grammaticalement incorrectes, etc. L'environnement acoustique ajoute une composante perturbatrice au signal de parole. Une grande partie du succès de la reconnaissance de la parole repose sur la capacité à prendre en compte les différents accents et les bruits ambiants dans les modèles utilisés par l'ASR. La personne recrutée devra développer des méthodologies et des outils permettant d'obtenir une reconnaissance automatique de la parole non native performante dans le contexte aéronautique et plus particulièrement dans un cockpit d'avion (bruyant). Ce projet sera basé sur un système de reconnaissance automatique de la parole de bout en bout [Shi et al., 2021] utilisant wav2vec 2.0 [Baevski et al., 2020]. Ce modèle est l'un des plus performants de l'état de l'art actuel. Ce modèle wav2vec 2.0 permet l'apprentissage auto-supervisé de représentations à partir de données audio brutes (sans transcription).

When a person has their hands busy performing a task like driving a car or piloting an airplane, voice is a fast and efficient interaction modality. In recent years, end-to-end deep learning based automatic speech recognition (ASR), which optimizes the probability of the output character sequence given an input speech signal, has made great progress [Chan et al., 2016; Baevski et al., 2020; Gulati, et al., 2020]. In aeronautical communications, the English language is most often compulsory. Unfortunately, many pilots are not native English speakers and exhibit an accent which is influenced by the pronunciation mechanisms of their native language. Inside an aircraft cockpit, the non-native voice of the pilots and the surrounding noises are the most difficult challenges to overcome in order to achieve efficient ASR. Non-native speech incurs several challenges [Shi et al., 2021]: incorrect or approximate pronunciations, errors in gender and number agreement, use of non-existent words, missing articles, grammatically incorrect sentences, etc. The acoustic environment adds a disturbing component to the speech signal. Much of the success of speech recognition relies on the ability to take into account different accents and ambient noises in the models used by ASR. The recruited person will have to develop methodologies and tools to obtain high-performance non-native automatic speech recognition in the aeronautical context and more specifically in a (noisy) aircraft cockpit. This project will be based on an end-to-end automatic speech recognition system [Shi et al., 2021] using wav2vec 2.0 [Baevski et al., 2020]. This model is one of the most efficient of the current state of the art. This wav2vec 2.0 model enables self-supervised learning of representations from raw audio data (without transcription).