Vers l'évaluation multimodale du niveau de L2 : caractéristiques de la parole et du mouvement des yeux dans un cadre multimodal

Towards multimodal assessment of L2 level: speech and eye tracking features in a cross-cultural setting

• Auteur / Autrice : Sofiya Kobylyanskaya
• Direction : Ioana Vasilescu
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 01/10/2021
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication
• Partenaire(s) de recherche : Laboratoire : Laboratoire interdisciplinaire des sciences du numérique (Orsay, Essonne ; 2021-....)
• Partenaire(s) de recherche : Equipe de recherche : LIPS
• Partenaire(s) de recherche : Référent : Faculté des sciences d'Orsay
• Partenaire(s) de recherche : graduate school : Université Paris-Saclay. Graduate School Informatique et sciences du numérique (2020-....)

Mots clés

Mots clés libres

Évaluation automatique de la L2

Multimodalité

Parole

Mouvement des yeux

L2 automatic assessment

Multimodality

Speech

Eye-tracking

Résumé

Description du sujet Ce sujet de thèse porte sur la variation en langue seconde (L2) dans une perspective multimodale (linguistique, mesures oculométriques) [1, 2, 3], et sur son intégration dans un paradigme de recherche dédié au renforcement de l'apprentissage via la modélisation des motifs linguistiques corrélés à la fluence en (L2) [4] et des états cognitifs des sujets associés à l'expression en L2 (confiance, doute etc.). Cette thèse s'inscrit dans un contexte plus large de la chaire en IA HUMAAINE HUman-MAchine Affective Interaction & Ethics (5). Le sujet proposé prendra principalement en compte l'expression de sujets natifs de L1 français en L2 anglais, cependant cette thèse étant menée dans le cadre d'un projet tripartite avec des universités d'Allemagne et du Japon, ayant comme objectif des techniques d'enseignement, des liens seront faits avec des explorations comparables concernant l'expression des natifs de japonais et d'allemand en anglais. Cadre de la thèse : La recherche linguistique sur la variation sonore des langues parlées se fait de plus en plus dans un cadre multi-approches linguistiques et multimodal, impliquant des connaissances en sciences du numérique et en sciences humaines et sociales. Pour ce qui est de la modélisation des motifs linguistiques, les recherches peuvent en effet porter sur différents niveaux de langue (ces niveaux peuvent aller du niveau segmental et supra-segmental, celui des sons et de la prosodie, aux niveaux linguistiques dits « supérieurs », comme le niveau lexical, morpho-syntaxique, sémantique, discursive et paralinguistique). L'objectif final de ces analyses est d'avoir un aperçu exhaustive et complexe de la langue, par cela entendant un aperçu comparable aux mécanismes perceptifs humains : en effet, le système perceptif humain fait appel à un faisceau d'informations multimodales et s'appuie sur le contexte large de la communication afin de décoder efficacement le message verbal. Cette thèse propose une analyse multimodale de la prononciation, questionnée selon ces différents niveaux linguistiques tels qu'ils sont abordés dans la littérature, combinée avec une analyse oculométrique. Cette combinaison est de plus en plus utilisée dans l'exploration de l'acquisition d'une L2. A plus long terme, étant donné que le projet qui finance la thèse porte sur l'enseignement, il s'agit également de pouvoir faire comprendre les différents niveaux modélisés à un humain dans le but d'augmenter sa capacité d'enseignement. Le paradigme expérimental envisagé sera dans un premier temps de type lecture, cependant un paradigme interactionnel est potentiellement envisagé dans un second temps, impliquant une analyse linguistique mais également des connaissances et techniques de modélisation du dialogue et des états cognitifs (émotionnels de type positif, négatif, confiance, doute etc.) potentiels des interlocuteurs. Résultats attendus Ce travail de thèse aura une visée théorique et applicative : en s'appuyant sur une méthodologie multimodale récente elle visera à répondre à des hypothèses théoriques concernant l'apprentissage en L2, à savoir quels sont les motifs de variation (variation de la prononciation, des constructions morpho-syntaxique, des hésitations etc.) des sujets apprenants de L2 anglais ? La thèse répondra également à d'autres questions telles que : Qu'apporte la perspective multimodale ? Quelles sont les techniques de modélisation les plus effaces afin d'intégrer les acquis de la thèse dans un projet d'enseignement ? D'un point de vue applicatif, les résultats de la thèse pourrons ainsi être utiles pour comprendre comment modéliser efficacement une langue seconde dans des cadres pratiques potentiels (par exemple, dans un cadre de renforcement de l'apprentissage scolaire grâce à des outils de diagnostic automatique de performance en langue seconde) et de transfert des informations perceptibles à un humain pour l'aider à mieux enseigner. Références (1) Chang, Charles B. “The phonetics of second language learning and bilingualism”, in “The Routledge Handbook of Phonetics”, 2018. (2) Roberts, Leah, and Anna Siyanova-Chanturia. “USING EYE-TRACKING TO INVESTIGATE TOPICS IN L2 ACQUISITION AND L2 PROCESSING.” Studies in Second Language Acquisition, vol. 35, no. 2, 2013, pp. 213–235. JSTOR, www.jstor.org/stable/26328465. Accessed 14 June 2021. (3) Augereau, O., Kunze, K., Fujiyoshi, H., Kise, K., Estimation of english skill with a mobile eye tracker, UbiComp '16: Proceedings of the 2016 ACM International Joint Conference on Pervasive and Ubiquitous Computing: AdjunctSeptember 2016 Pages 1777–1781 (4) Vasilescu, I., Adda-Decker, M. « Language, gender, speaking style and language proficiency as factors influencing the autonomous vocalic filler production in spontaneous speech », INTERSPEECH 2006 - ICSLP, Ninth International Conference on Spoken Language Processing, Pittsburgh, PA, USA, September 17-21, 2006 (5) Devillers, L., Chaire HUMAAINE HUman-MAchine Affective Interaction & Ethics

Analysis of spoken language variation for second language learning in a multimodal setting L2 variation analysis in a multimodal context Description of the subject This thesis topic focuses on second language (L2) variation in a multimodal perspective (linguistics, eye tracking) [1, 2, 3], and on its integration in a research paradigm dedicated to learning reinforcement via the modeling of linguistic patterns correlated to fluency in (L2) [4] and of subjects' cognitive states associated with L2 expression (confidence, doubt etc.). This thesis is part of a larger research action that is mainly carried out within the context of the HUMAAINE Chair in AI HUman-MAchine Affective Interaction & Ethics [5]. The proposed topic will primarily consider the expression of native French (L1) subjects in English (L2), however as this thesis is being conducted as part of a tripartite project with universities in Germany and Japan, with teaching techniques as a goal, links will be made to comparable explorations concerning the expression of native Japanese and German speakers in English. Scientific context Linguistic research on patterns of sounds variation across languages is increasingly conducted within a multilingual and multimodal framework, involving knowledge from humanities (linguistics, psycho-linguistics, affective sciences, neuroscience etc.) and computer sciences. As far as the modeling of linguistic patterns is concerned, research is focusing on different linguistic levels (from segmental and supra-segmental, that of sounds and prosody, to the 'higher' linguistic levels, such as the lexical, morpho-syntactic, semantic, discourse and paralinguistic levels). The final goal of these analyses is to provide an exhaustive and complex overview of the language, by which we mean an overview comparable to human perceptual mechanisms: indeed, the human perceptual system calls upon a bundle of multimodal information and relies on the broad context of the communication in order to efficiently decode the verbal message. This thesis aims at taking advantage of these multidiscplinary perspectives and proposes a multimodal analysis of pronunciation, questioned according to different linguistic levels as discussed in the literature, combined with eye tracking measures. This framework is increasingly used in the exploration of L2 acquisition. In the longer term, since the project that funds the thesis is about teaching, the aim is also to be able to make a human teacher understand the different levels modeled in order to increase its teaching capacity. As for the experimental paradigm envisaged, we will firstly focus on reading aloud experiments, however an interactional paradigm is potentially envisaged in a second phase, involving a linguistic analysis but also knowledge and techniques for modeling the dialogue and the potential cognitive states (positive, negative, confidence, doubt, etc.) of the interlocutors. Expected results This thesis has both theoretical and applicative aims: by using a recent multimodal methodology, it will aim at answering theoretical hypotheses concerning L2 learning, i.e., what are the patterns of variation (variation in pronunciation, morpho-syntactic constructions, hesitations, etc.) of L2 English learners? The thesis will also answer other questions such as: What does the multimodal perspective bring? What are the most effective modeling techniques to integrate the findings of the thesis into a teaching project? From an application point of view, the results of the thesis will be useful to understand how to effectively model a second language in potential practical settings (e.g., in the context of reinforcing academic learning through automatic second language performance diagnosis tools) and transferring perceptible information to a human to help him/her teach better. Références (6) Chang, Charles B. “The phonetics of second language learning and bilingualism”, in “The Routledge Handbook of Phonetics”, 2018. (7) Roberts, Leah, and Anna Siyanova-Chanturia. “USING EYE-TRACKING TO INVESTIGATE TOPICS IN L2 ACQUISITION AND L2 PROCESSING.” Studies in Second Language Acquisition, vol. 35, no. 2, 2013, pp. 213–235. JSTOR, www.jstor.org/stable /26328465. Accessed 14 June 2021. (8) Augereau, O., Kunze, K., Fujiyoshi, H., Kise, K., Estimation of english skill with a mobile eye tracker, UbiComp '16: Proceedings of the 2016 ACM International Joint Conference on Pervasive and Ubiquitous Computing: AdjunctSeptember 2016 Pages 1777–1781 (9) Vasilescu, I., Adda-Decker, M. « Language, gender, speaking style and language proficiency as factors influencing the autonomous vocalic filler production in spontaneous speech », INTERSPEECH 2006 - ICSLP, Ninth International Conference on Spoken Language Processing, Pittsburgh, PA, USA, September 17-21, 2006 (10) Devillers, L., Chaire HUMAAINE HUman-MAchine Affective Interaction & Ethics