Analyse syntaxique du Français Parlé Spontané à partir du Signal Audio

Syntactic Parsing of Spontaneous Spoken French from Sound

• Auteur / Autrice : Adrien Pupier
• Direction : Benjamin Lecouteux
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le ; Soutenance le 26/06/2025
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale Mathématiques, sciences et technologies de l'information, informatique (Grenoble, Isère, France ; 1995-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'Informatique de Grenoble
• Partenaire(s) de recherche : Equipe de recherche : GETALP - Groupe d'Etude en Traduction/Traitement des Langues et de la Parole (ancien labo Clips)
• Jury : Président / Présidente : Didier Schwab
• Jury : Examinateurs / Examinatrices : Benjamin Lecouteux, Claire Gardent, Grzegorz Chrupala, Alexis Nasr, Irina Illina
• Jury : Rapporteurs / Rapporteuses : Claire Gardent, Grzegorz Chrupala

Mots clés

Mots clés libres

Analyse syntaxique

Parole

Spontanée

Signal audio

Srap

Syntactic analysis

Speech

Spontaneous

Audio signal

Asr

Résumé

Au cours de la dernière décennie, les méthodes de traitement de la parole et de traitement automatique du langage naturel (TAL) ont convergé grâce à l'utilisation de l'apprentissage profond. Les deux disciplines s'appuient désormais sur des modèles pré-entraînés pour accomplir des tâches de TAL telles que l'``analyse syntaxique'', la ``reconnaissance d'entités nommées'', ainsi que des tâches de parole comme la ``reconnaissance automatique de la parole'', la ``reconnaissance de locuteur'' et la ``génération de parole''. Dans ce travail, nous explorons l'intersection entre ces deux domaines de recherche à travers une tâche classique de TAL — l’analyse en dépendances, appliquée au français parlé — en utilisant uniquement le signal audio en entrée. Nous définissons formellement notre tâche: l'Analyse en Dépendances depuis des enregistrements audio. La parole spontanée est le mode de communication le plus courant dans la vie quotidienne et se distingue du texte écrit, soigneusement rédigé et révisé. Comme la parole spontanée est majoritairement improvisée, des phénomènes linguistiques tels que les disfluences (hésitations, pauses remplies, répétitions) y sont plus fréquents. Les auditeurs s’appuient sur les informations contenues dans le signal audio pour comprendre la parole spontanée, y compris la syntaxe des énoncés spontanés. Nous formulons donc l’hypothèse qu’un analyseur syntaxique statistique basé sur la parole est capable d’exploiter les indices acoustiques. Dans cette étude, nous montrons qu’il est possible d’effectuer l’analyse syntaxique à partir du signal audio, et que cela améliore les performances par rapport à une approche en cascade, où un modèle de reconnaissance vocale transcrit la parole spontanée avant qu’un modèle textuel ne soit appliqué. Nous attribuons cette amélioration aux indices acoustiques et aux limitations des modèles textuels pré-entraînés pour traiter la parole spontanée qui est hors de son domaine. Nous montrons également que différents paradigmes d’analyse syntaxique offrent des performances variables selon le protocole expérimental et la modalité d’entrée, révélant des défis syntaxiques communs et spécifiques à chaque modalité. Un exemple notable est que les deux paradigmes peinent à distinguer les temps verbaux dans le corpus CEFC-ORFEO, confondant souvent la voix passive au présent avec le passé composé français. Nous attribuons en partie ce problème au schéma d’annotation spécifique utilisé dans ce corpus, cette confusion ne se produisant pas avec d'autres jeux de données. Nous évaluons différents encodeurs audio pré-entraînés issus de la même famille --leBenchmark-- afin d’analyser l’impact du jeu de données de pré-entraînement sur les performances des encodeurs audio obtenus. Nous constatons que la proportion de parole spontanée dans les données de pré-entraînement est le meilleur indicateur des performances sur la tâche d’analyse en dépendances à partir de la parole spontanée. Ce facteur est même plus important que la quantité brute de données ou la taille du modèle. Ainsi, le modèle le plus performant est leBenchmark-7K-large, qui contient une plus grande proportion de parole spontanée que ses variantes de plus grande taille. Nous analysons ensuite leBenchmark-7K-large, l’encodeur utilisé dans nos expériences, afin d’étudier comment il encode l’information syntaxique. Nos observations montrent que l'information syntaxique est représentée de manière similaire à celle des modèles textuels pré-entraînés, à une différence près : dans les modèles audio, l’information syntaxique tend à disparaître de manière plus importante dans les couches finales. Nous concluons en proposant plusieurs pistes de recherche futures, en mettant particulièrement l’accent sur le défi que représente la segmentation de la parole et soutenons que l’obtention de représentations de mots de haute qualité demeure le principal défi pour les tâches au niveau du mot réalisées directement à partir de l’audio.

Over the past decade, speech processing and natural language processing (NLP) methodologies have converged through the use of a powerful statistical tool: deep learning. Both disciplines now rely on pre-trained models to accomplish NLP tasks, such as ``parsing'', ``named entity recognition'', and spech tasks such as ``automatic speech recognition'', ``speaker recognition'', and ``speech generation.'' In this work, we explore the intersection of these two research fields with a classical NLP task --dependency parsing, applied to spoken French-- but only using the audio signal as input. We formally define our task: Dependency Parsing from audio recordings. Speech, and more precisely, spontaneous speech, is the most common way of communication in everyday life and is different from carefully constructed and revised written text. As spontaneous speech is mostly improvised, some linguistic phenomenons such as disfluencies (hesitations, filled pauses, repetitions) are more prevalent in this type of speech. Listeners rely on information contained in the audio signal as cues to understand spontaneous speech, including the syntax of spontaneous utterances. We therefore hypothesize that a speech-based statistical syntactic parser is able to leverage acoustic cues to improve parsing performance. In this study, we demonstrate that, indeed, parsing from speech is feasible and improve the performance compared to a pipeline approach, where a speech recognition model is employed to transcribe spontaneous speech and then a text model is used. We attribute this increased performance to both the acoustic cues present in the audio signal and the limitations of pre-trained text model with out-of-domain spontaneous speech. We also show that different parsing paradigms yield varying performance depending on the experimental setup and input modality, with both common and modality-specific syntactic challenges. One notable example is that both parsing paradigms struggle with tense differentiation on the CEFC-ORFEO corpus, often confusing passive present with the French ``passé composé'' (compound past). We attribute (in part) this issue to the specific annotation scheme used in that corpus, as this confusion does not occur with other datasets, highlighting the importance of training data and annotation guidelines. We evaluate different pre-trained audio encoders from the same family --leBenchmark-- to find how the underlying pre-training dataset impacts the resulting audio encoder. We find that the proportions of spontaneous speech in the pretraining dataset is the strongest predictor of performance on the task of dependency parsing from speech. This factor is even more important than the raw amount of data and the size of the model. As such, the best performing model is leBenchmark-7K-large which contains a larger proportion of spontaneous speech than its larger variants. last layers of the models. We then analyze leBenchmark-7K-large, the encoder used throughout our experiments, to investigate how it encodes syntactic information, through probing experiments. Our observations show that syntactic information are represented similarly to how they are in pre-trained text models, with one key difference: syntactic information in audio models tends to vanish in the final layers. Finally, we conclude by outlining several future directions, particularly emphasizing the challenge of speech segmentation. We argue that obtaining high-quality word-level representations remains the primary bottleneck for word-level tasks performed directly on audio.