Vers l'évaluation multimodale du niveau de L2 : caractéristiques de la parole et du mouvement des yeux dans un cadre multimodal

Towards multimodal assessment of L2 level : speech and eye tracking features in a cross-cultural setting

• Auteur / Autrice : Sofiya Kobylyanskaya
• Direction : Ioana Vasilescu, Laurence Devillers
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 19/12/2024
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication
• Partenaire(s) de recherche : Laboratoire : Laboratoire Interdisciplinaire des Sciences du Numérique
• Partenaire(s) de recherche : Référent : Faculté des sciences d'Orsay
• Partenaire(s) de recherche : graduate school : Université Paris-Saclay. Graduate School Informatique et sciences du numérique (2020-....)
• Jury : Président / Présidente : Cédric Gendrot
• Jury : Examinateurs / Examinatrices : Véronique Delvaux, Sophie Herment, Ralph Rose, Sébastien Lallé, Nicolas Audibert
• Jury : Rapporteurs / Rapporteuses : Véronique Delvaux, Sophie Herment

Mots clés

Mots clés contrôlés

Oeil -- Mouvements

Nudge

Corpus linguistique

Classification automatique

Acquisition du langage

Parole

Multimodalité (linguistique)

Mots clés libres

Évaluation automatique de la L2

Multimodalité

Parole

Mouvement des yeux

L2 assessment

Multimodality

Speech

Eye-Tracking

Résumé

Ces dernières années, le monde de l’éducation a subi des changements importants, notamment avec la digitalisation massive du système en 2020 et l’avancement des technologies d’IA générative. Le projet LeCycl ''Learning Cyclotron'' (Vargo et al., 2023) s’inscrit dans cette tendance scientifique et vise à accélérer la circulation des connaissances; en prenant en compte trois processus principaux d’apprentissage : la perception, la maîtrise et le transfert. Cette thèse, faisant partie du projet LeCycl, exploite des stratégies de lecture orale en langue étrangère (L2) en analysant les difficultés rencontrées par des représentants de différentes cultures et leurs stratégies pour les surmonter. À cette fin, nous utilisons des indices multimodaux (la parole et le mouvement des yeux) ainsi qu’un protocole original introduisant des nudges (représentés par des bandes dessinées) pour l’adaptation culturelle (Hutin et al., 2023), Nous avons développé un protocole impliquant la collecte de données de lecture à voix haute des locuteurs français et japonais de l’anglais L2 et deslocuteurs natifs de l’anglais (Kobylyanskaya, 2022).Nous avons analysé les performances des locuteurs à travers des mesures acoustiques et linguistiques (réalisation acoustique des phonèmes, prosodie et disfluences telles que les pauses, hésitations, troncations), ainsi que des mesures de mouvements oculaires (El Baha et al., 2022; Kobylyanskaya et al., 2023). Ensuite, nous avons utilisé des méthodes d’apprentissage automatique pour définir le niveau de L2 des locuteurs à partir de ces mesures. Enfin, nous avons évalué la contribution des images sur les performances de lecture orale des locuteurs. Les résultats montrent que les représentants de langues maternelles Français et Japonais sont confrontés à des défis spécifiques lorsqu’ils lisent des textes en langue étrangère et adoptent différentes stratégies pour les surmonter, ce qui se traduit à la fois au niveau verbal et oculaire.Nos résultats soulignent la nécessité de développer des outils d’apprentissage adaptés aux cultures ainsi que les défis associés à leur conception.

In recent years, the world of education has undergone critical changes, especially with the system’s massive digitalization in 2020, as well as the advancement of generative AI technologies. LeCycl ''Learning Cyclotron'' (Vargo et al., 2023) project is a part of this scientific trend and its aim is to accelerate the knowledge flow. It takes into consideration 3 main processes of learning: perception, mastering and transfer. This thesis, as part of the LeCycl project, focuses on exploring second language (L2) oral reading strategies and analyzing difficulties faced by representatives of different cultures and their techniques of coping with them. For this purpose, we are relying on multimodal cues including speech and eye tracking, as well as an original protocol that introduces nudges (represented by comic books) for the cultural adaptation (Hutin et al., 2023). For this purpose, we developed a protocol involving the collection of readingaloud data from both native and non-native English speakers (French and Japanese speakers) (Kobylyan- skaya, 2022). We analyzed speakers’ performance through acoustic and linguistic measures (phoneme realization, prosody and disfluencies such as pauses, hesitations, truncations), as well as eye movement measures (El Baha et al. 2022; Kobylyanskaya et al., 2023). Then, we used machine learning methods to define the speaker’s L2 level based on the extracted measures. Finally, we evaluate the contribution of comic books images on speakers’ oral reading performance. The results highlight that the representatives of different cultures face different challenges when reading in a foreign language and employ different strategies to overcome them, which are translated both at verbal and ocular levels. Our results underline the need for culturally adapted learning tools and the challenges involved in developing them.