Vers une simplification automatique de la parole : application dans des conditions à faibles ressources

Exploring Automatic Spoken Language Simplification in Low-Resource Conditions

• Auteur / Autrice : Lucía Ormaechea grijalba
• Direction : Benjamin Lecouteux, Pierrette Bouillon, Didier Schwab
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 01/09/2022
• Etablissement(s) : Université Grenoble Alpes en cotutelle avec Université de Genève
• Ecole(s) doctorale(s) : École doctorale mathématiques, sciences et technologies de l'information, informatique
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'Informatique de Grenoble
• Partenaire(s) de recherche : Equipe de recherche : GETALP - Groupe d'Etude en Traduction/Traitement des Langues et de la Parole (ancien labo Clips)

Mots clés

Mots clés libres

Traitement Automatique du Langage Naturel

Simplification Automatique de la Parole

Apprentissage Automatique

Natural Language Processing

Automatic Speech Simplification

Machine Learning

Résumé

La simplification automatique de textes est une tâche liée au Traitement Automatique de la Langue et de la Parole (TALP), qui vise à réduire automatiquement la complexité linguistique des textes, sans pour autant perdre les informations et la signification originales. Elle joue un rôle important d'un point de vue sociétal, car elle vise à fournir une aide à la compréhension pour différents lecteurs (enfants, personnes ayant un faible niveau d'alphabétisation, etc.). Par ailleurs, elle s'avère être une tâche particulièrement utile du point de vue computationnel, puisqu'elle est également utilisée comme étape de pré-traitement pour d'autres applications de TALP en vue d'améliorer leur performance (comme l'extraction d'information ou le résumé automatique). Dans cette thèse, nous cherchons à contribuer à l'avancement de l'état de l'art sur cette tâche, notamment en explorant l'extension de la simplification automatique à une modalité orale, dans la mesure où la grand majorité des travaux ont été consacrés à l'exploration de la simplification linguistique sur la base de textes issus de sources écrites. Néanmoins, très peu d'études ont examiné des méthodes servant à simplifier la parole. Pour combler cette lacune, nous explorerons des approches basées sur des réseaux de neurones, inspirées de la traduction automatique, où la simplification est conçue comme étant une tâche de traduction monolingue. L'un des verrous scientifiques de cette thèse sera de pallier –ou contourner– le manque de ressources caractérisant cette tâche, où l'existence de données parallèles monolingues est très restreinte. En outre, nous aborderons l'adaptation de la simplification des phrases à une modalité orale, qui est fréquemment marqué d'un point de vue grammatical par la présence des disfluences, telles que des hésitations, des ellipses, des répétitions ou des faux départs. Avec la mise à disposition de tels modèles, nous envisageons de contribuer à PROPICTO, le projet dans lequel s'inscrit cette thèse, qui vise à créer des systèmes permettant une traduction automatique de la parole française en séquences pictographiques, et de cette manière, améliorer l'accès à la communication pour des locuteurs non-francophones ou des personnes présentant des troubles cognitifs. La traduction d'énoncés oraux en pictogrammes ne peut probablement pas être effectuée directement, d'autant que les phrases trop complexes ne contribueraient pas nécessairement à une meilleure compréhensibilité lorsqu'elles seraient converties en pictogrammes. Ceci implique la nécessité d'avoir recours à un module de simplification, permettant ainsi de réduire la complexité linguistique de la phrase en entrée afin de faciliter sa transformation ultérieure en séquences pictographiques. De cette manière, nous proposons d'étendre l'implémentation de la simplification automatique à une modalité orale, et de l'examiner plus particulièrement dans le cadre d'une langue comme le français, qui ne dispose que de très peu de ressources pour modéliser une telle opération. Par ailleurs, nous comptons fournir un module de simplification opérationnel dans le cadre des architectures de traduction envisagées par PROPICTO, servant d'étape intermédiaire dans la chaîne de conversion parole-pictogrammes.

Automatic Text Simplification (ATS) is an area of Natural Language Processing (NLP) that aims to automatically convert texts into simpler variants, by reducing their linguistic complexity, albeit preserving the original meaning. ATS plays an important role from a societal point of view, as it seeks to provide a comprehensibility aid for different target readers (i.e., children, people with low literacy skills, etc.). Furthermore, it proves to be a valuable task from a machine-oriented perspective, since it has also been used as a pre-processing step for other NLP applications such as information extraction or summarization. With this project, I intend to contribute to the advancement of the state of the art on this NLP-related task, by exploring the extension of automatic simplification to a spoken modality, to the extent that the vast majority of work has been devoted to exploring simplification strategies on the basis of texts coming from written sources. Nonetheless, very few studies have examined how to simplify speech. To bridge this gap, we aim to investigate neural-based approaches, inspired by Machine Translation (MT), which view text simplification as a monolingual text-to-text generation task. One of the scientific challenges of this thesis will be to overcome -or bypass- the lack of resources characterizing this task, where the existence of monolingual parallel data is very scarce. Besides, we will address the adaptation of sentence simplification to an oral modality, which is often characterized from a grammatical point of view by the presence of disfluencies, such as hesitations, ellipses, repetitions or false starts. With the provision of such models, we plan to contribute to PROPICTO, the project in which this thesis is conducted, and that aims at creating Speech-to-Pictograph translation systems, and thus to enhance communication access for non-French speakers or people with cognitive impairments. Translating spoken utterances into pictographs shall not be performed directly, given that overly complex sentences could not necessarily contribute to a better understandability when converted into pictographs. This implies the need to resort to a simplification module, that will allow to reduce the complexity of the input sentence so as to facilitate its subsequent transformation into pictographic units. In this manner, we propose to extend the implementation of automatic simplification to a spoken modality, and to examine it more particularly in the context of the French language, which lacks resources for the modeling of such a task. Moreover, we intend to provide with a functional simplification module that operates within the MT architectures envisioned by PROPICTO, and serves as an intermediate step inside the Speech-to-Pictograph translation pipeline.