Caractérisation et mesure de la compréhensibilité de la parole de locuteurs non natifs dans le cadre de l'apprentissage des langues

Characterization and measurement of speech comprehensibility of non-native speakers in the context of language learning

• Auteur / Autrice : Verdiana De Fino
• Direction : Julien Pinquier, Isabelle Ferrané
• Type : Thèse de doctorat
• Discipline(s) : Informatique et Télécommunications
• Date : Soutenance le 11/03/2024
• Etablissement(s) : Université de Toulouse (2023-....)
• Ecole(s) doctorale(s) : École doctorale Mathématiques, informatique et télécommunications (Toulouse)
• Partenaire(s) de recherche : Laboratoire : Institut de Recherche en Informatique de Toulouse (1995-....)
• Jury : Président / Présidente : Sylvain Detey
• Jury : Rapporteurs / Rapporteuses : Martine Adda-Decker, Marie Tahon

Mots clés

Mots clés contrôlés

Reconnaissance automatique de la parole

Langage -- Compréhension

Acquisition linguistique

Mots clés libres

Compréhensibilité de la parole

Apprentissage des langues

Paramètres linguistiques

Prédiction automatique

Speech comprehensibility

Language learning

Linguistic features

Automatic prediction

Résumé

Se faire comprendre en situation de communication, voire d'interaction orale, est essentiel au quotidien. La compréhensibilité est ainsi devenue un objectif important dans le domaine de l'apprentissage des langues, plus encore que d'avoir une parole sans accent étranger, proche d'un locuteur natif. Cependant, les enseignants et apprenants d'une langue étrangère (L2) ne disposent pas d'outils automatiques leur permettant d'évaluer de manière objective la compréhensibilité des productions orales. La compréhensibilité représente un concept linguistique influencé par des dimensions comme la phonologie/phonétique, la fluence, le lexique, la syntaxe et le discours. En plus de ces dimensions, elle peut également être influencée par le profil d'un apprenant (sa langue maternelle, ou L1, plus ou moins proche de la langue cible), le profil d'un auditeur (familiarisé ou non avec l'accent de l'apprenant) et la tâche de production orale pour les mettre en situation et collecter la parole des apprenants. Dans nos travaux de recherche nous nous sommes intéressés à la description de ces différentes dimensions dans la littérature. Nous avons ensuite implémenté différents paramètres considérés comme ayant une influence sur la compréhensibilité de la parole. Une première étape a été de valider leur adéquation lors d'une tâche de prédiction du niveau CECRL (Cadre Européen Commun de Référence pour les Langues) des apprenants du corpus CLIJAF. En se fondant sur ces paramètres linguistiques multi-niveaux, nous avons pu aborder la contribution principale de ce travail de thèse en proposant une méthode permettant de mesurer de manière automatique la compréhensibilité des apprenants. Afin d'évaluer la compréhensibilité, nous avons réalisé deux corpus : CAF-jp (Compréhensibilité d'Apprenants du Français - Japonais) et CAF-al (Compréhensibilité d'Apprenants du Français - Allemands). Ces corpus contiennent respectivement des productions orales de 40 apprenants japonais et 9 apprenants allemands de français. La mise en place d'un protocole de collecte a permis de collecter des productions orales. Ce protocole est basé sur une tâche de traduction orale, en L2, d'énoncés écrits en L1. Les énoncés ont été spécifiquement construits par des experts de FLE (Français Langue Étrangère) afin de contenir des difficultés typiques de traduction propres à chaque paire L1/français. Une fois la collecte des données effectuée, nous avons créé un protocole d'annotations nous permettant d'obtenir des évaluations subjectives de la compréhensibilité de la parole. Nous avons mené une campagne d'annotation auprès de 80 Français natifs et avons collecté 3920 scores de compréhensibilité, dont la moitié correspondent à la compréhensibilité a priori (compréhensibilité perçue) et l'autre moitié à la compréhensibilité a posteriori (compréhensibilité du sens du message véhiculé après prise en compte du réel sens du message à véhiculer). Afin de prédire automatiquement la compréhensibilité de la parole des apprenants, nous mettons en place une phase d'extraction de paramètres sur les productions orales. Ces paramètres sont d'ordre phonético-phonologique, lexical, syntaxique, discursif et sémantique. Nous obtenons d'excellents résultats de prédiction, aussi bien pour le corpus CAF-jp (r=0,97, MAE=0,15) que pour le corpus CAF-al (r=0,98, MAE=0,18), en utilisant l'algorithme Random Forest, une stratégie de fusion précoce et une validation croisée imbriquée de type leave-one-out. De plus, en entraînant un modèle sur la totalité des données du corpus CAF-jp et en testant sur les données du corpus CAF-al, nous obtenons également de bonnes performances (r=0,98, MAE=0,34), montrant ainsi la généricité de notre approche. Nos différents résultats montrent que notre méthodologie de prédiction de la compréhensibilité est tout à fait adaptée à l'évaluation de l'apprentissage du français L2, et pourrait même être appliquée à d'autres paires de langues L1/L2.

Being understood in communication situations, even in oral interactions, is essential in everyday life. Comprehensibility has thus become a significant goal in the field of language learning, even more than having a speech without a foreign accent, close to that of a native speaker. However, teachers and learners of a foreign language (L2) lack automatic tools to objectively assess the comprehensibility of oral productions. Comprehensibility is a linguistic concept influenced by dimensions such as phonology/phonetics, fluency, lexis, syntax, and discourse. In addition to these dimensions, it can also be influenced by a learner's profile (native language, or L1, more or less similar to the target language), a listener's profile (familiarized or not with the learner's accent), and the oral production task to contextualize and collect learners' speech. In our research, we focused on describing these different dimensions in the literature. We then implemented various features considered to have an influence on the speech comprehensibility. A first step was to validate their adequacy during a task predicting the CEFRL (Common European Framework of Reference for Languages) level of learners in the CLIJAF corpus. Based on these multi-level linguistic features, we approached the main contribution of this thesis by proposing a method to automatically measure learners' comprehensibility. To assess comprehensibility, we created two corpora: CAF-jp (Comprehensibility of French Learners - Japanese) and CAF-al (Comprehensibility of French Learners - Germans). These corpora respectively contain oral productions from 40 Japanese learners and 9 German learners of French. The implementation of a collection protocol allowed us to gather oral productions. This protocol is based on an oral translation task, in L2, of statements written in L1. The statements were specifically constructed by experts in FFL (French as a Foreign Language) to contain typical translation difficulties for each L1/French pair. Once data collection was completed, we created an annotation protocol to obtain subjective evaluations of speech comprehensibility. We conducted an annotation campaign with 80 native French speakers and collected 3920 comprehensibility scores, half of which correspond to a priori comprehensibility (perceived comprehensibility) and the other half to a posteriori comprehensibility (comprehensibility of the message's meaning after considering the actual message's intended meaning). To automatically predict learners' speech comprehensibility, we implemented a feature extraction phase on oral productions. These features are phonetic-phonological, lexical, syntactic, discursive, and semantic in nature. We achieved excellent prediction results for both the CAF-jp corpus (r=0.97, MAE=0.15) and the CAF-al corpus (r=0.98, MAE=0.18), using the Random Forest algorithm, an early fusion strategy, and a nested leave-one-out cross-validation. Furthermore, by training a model on the entire CAF-jp corpus and testing it on the CAF-al corpus data, we also obtained good performance (r=0.98, MAE=0.34), demonstrating the generality of our approach. Our various results show that our methodology for predicting comprehensibility is well-suited for evaluating French L2 learning and could even be applied to other L1/L2 language pairs.