Traduction automatique de la parole vers des pictogrammes

Automatic speech translation into pictograms

• Auteur / Autrice : Cécile Macaire
• Direction : Benjamin Lecouteux, Didier Schwab
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le ; Soutenance le 11/03/2025
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale mathématiques, sciences et technologies de l'information, informatique
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'Informatique de Grenoble
• Partenaire(s) de recherche : Equipe de recherche : GETALP - Groupe d'Etude en Traduction/Traitement des Langues et de la Parole (ancien labo Clips)
• Jury : Président / Présidente : François Portet
• Jury : Examinateurs / Examinatrices : Benjamin Lecouteux, Iris Eshkol-taravella, Frederic Bechet, Didier Schwab, Nathalie Camelin
• Jury : Rapporteurs / Rapporteuses : Iris Eshkol-taravella, Frederic Bechet

Mots clés

Mots clés libres

Communication Alternative et Augmentée

Pictogrammes

Traduction automatique de la parole

Reconnaissance automatique de la parole

Grand modèle de langue

Augmentative and Alternative Communication

Pictograms

Automatic speech translation

Automatic speech recognition

Large language model

Résumé

La Communication Alternative et Augmentée (CAA) propose des méthodes et des outils pour pallier les déficiences de la production et de la compréhension de la parole. Les pictogrammes, éléments clés de la CAA, facilitent la communication des pensées et des émotions à travers une iconographie simplifiée. Cependant, des mythes et des barrières économiques freinent son déploiement, soulignant le besoin de solutions adaptées. La traduction automatique de la parole vers des pictogrammes, une nouvelle tâche du Traitement Automatique des Langues (TAL), vise à générer des séquences de pictogrammes à partir d'énoncés oraux. À l'intersection des domaines de la CAA et de la Traduction Automatique de la Parole (TAP), cette tâche peut faciliter la communication entre les aidants (personnels médicaux, proches) et des personnes souffrant de troubles du langage. Elle se heurte néanmoins à des défis majeurs, dont le manque de données multimodales unifiées, l'absence d'un cadre d'évaluation précis et l'inexistence de modèles neuronaux spécialisés pour proposer une traduction en pictogrammes. Dans cette thèse, nous présentons trois contributions pour relever ces défis. Nous introduisons deux méthodes de création de corpus multimodaux alignant de la parole, du texte et des pictogrammes. La première inclut une grammaire et un vocabulaire restreints pour générer une séquence de pictogrammes à partir de la transcription, tandis que la seconde intègre une chaîne de traitement pour récupérer l'audio des textes traduits en pictogrammes. Ces deux méthodes créent des ensembles de données robustes pour l’entraînement et l'évaluation des modèles. Dans notre deuxième contribution, nous définissons un cadre d'évaluation spécifique, combinant une évaluation automatique et humaine. Nous adaptons des métriques communément appliquées aux domaines de la Reconnaissance Automatique de la Parole (RAP) et de la Traduction Automatique (TA) pour comparer les performances entre modèles. Nous appliquons un cadre analytique pour interpréter la qualité des traductions. Enfin, dans notre troisième contribution, nous étudions deux approches, en cascade et de bout-en-bout, pour générer des séquences de pictogrammes à partir de la parole. Nous comparons des modèles de RAP, de TA et de TAP état de l'art, entraînés ou affinés sur les données multimodales créées. Les résultats de notre évaluation démontrent la capacité des modèles en cascade à produire des traductions en pictogrammes compréhensibles sur de la parole lue dans des contextes quotidiens. Nous démontrons des résultats compétitifs avec un modèle de bout-en-bout pour la parole spontanée, un défi persistant en TAL. Le code, les données et les modèles développés sont disponibles librement.

Augmentative and Alternative Communication (AAC) provides methods and tools to address impairments in speech production and comprehension. Pictograms, key elements of AAC, facilitate the communication of thoughts and emotions through simplified iconography. However, myths and economic barriers hinder its widespread adoption, highlighting the need for tailored solutions. Automatic Speech-to-Pictogram translation, a new task in Natural Language Processing (NLP), aims to generate pictogram sequences from spoken utterances. At the intersection of AAC and Speech-to-text translation (ST), this task can facilitate communication between caregivers (medical staff, family members) and individuals with language disorders. Nevertheless, it faces major challenges, including a lack of unified multimodal data, the absence of a precise evaluation framework, and the need for specialized neural models to perform pictogram translation. In this thesis, we present three contributions to address these challenges. We introduce two methods for creating multimodal corpora aligning speech, text, and pictograms. The first method includes a grammar and a restricted vocabulary to generate a sequence of pictograms from the transcription, while the second integrates a processing pipeline to retrieve the audio from texts already translated into pictograms. Together, these methods create robust datasets for model training and evaluation. In our second contribution, we define a specialized evaluation framework, combining both automatic and human evaluations. We adapt metrics commonly used in Automatic Speech Recognition (ASR) and Machine Translation (MT) to effectively compare models' performance. Additionally, we apply an analytical framework to interpret the quality of the translations. Finally, in our third contribution, we investigate two approaches, cascade and end-to-end, for generating pictogram sequences from speech. We compare state-of-the-art ASR, MT, and ST models, trained or fine-tuned on the multimodal data created. Our evaluation results demonstrate the ability of cascade models to produce intelligible pictogram translations from read speech in everyday life situations. We also achieve competitive results with an end-to-end model for spontaneous speech, an ongoing challenge in NLP. The code, data, and models developed are freely available.