La Réalité Étendue dans des Applications d'Apprentissage Collaborative

Extended Reality in Collaborative Learning Applications

• Auteur / Autrice : Carlos Liévano
• Direction : Patrick Bourdot
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 01/02/2023
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire interdisciplinaire des sciences du numérique (Orsay, Essonne ; 2021-....)
• Partenaire(s) de recherche : Equipe de recherche : VENISE - R&VA
• Partenaire(s) de recherche : Référent : Faculté des sciences d'Orsay

Mots clés

Mots clés libres

Réalité Étendue

Apprentissage Collaborative

Intelligence artificielle

Extended reality

Collaborative learning

Artificial Intelligence

Résumé

Différentes avancées en équipements et logiciels ont permis l'utilisation accélérée et généralisée de la réalité étendue (eXtended Reality - XR), y compris la réalité virtuelle et la réalité mixte, dans plusieurs domaines, dont celui de l'éducation. Il existe une documentation abondante et des états de l'art sur l'apprentissage immersif à l'aide de la XR, ainsi que des études confirmant son application et ses progrès, généralement avec des résultats positifs (par exemple, [1], [2]), mais il existe également des défis et des travaux futurs prometteurs à réaliser. Grâce aux technologies XR, les méthodes d'enseignement peuvent être plus efficaces en proposant un environnement d'enseignement et d'apprentissage favorable au bien-être psychologique des étudiants, mais aussi qui permette de stimuler leur intérêt sur les matières enseignées et de les encourager par leur participation active. Cependant, il est aussi très important d'examiner les effets négatifs de la technologie sur la capacité d'apprentissage des étudiants, tels que la dépendance à la technologie ou les courtes durées d'attention, qui affectent l'apprentissage en profondeur à cause du manque de concentration, de persévérance et de réflexion. Dans ce projet doctoral, qui vise des situations d'apprentissage sur des dispositifs immersifs et collaboratifs tant co-localisés que distants, nous nous concentrerons sur l'attention et l'engagement des étudiants. Des travaux antérieurs ont déjà porté sur la mesure de ces facteurs. Par exemple, Allcoat et von Mühlenen (2018) ont étudié comment l'apprentissage en utilisant la réalité virtuelle (RV) peut affecter l'engagement et les émotions des étudiants [7], tandis que Ryan et Poole (2018) se sont intéressés à leur satisfaction, leur engagement, leur capacité à mémoriser et à se rappeler d'un savoir [8]. En ce qui concerne l'attention, différents éléments ont été pris en compte, comme l'attention visuelle détectée par la technologie d'eye-tracking pour les performances d'apprentissage en RV [9]. D'autres méthodes ont commencé à explorer les données fournies par la position et l'orientation de la tête, des mains et des pieds, mais aussi à l'activité électrodermale (AED) et aux signaux d'électrocardiogramme (ECG). Cependant, des études fondamentales et expérimentales sont encore nécessaires dans ce domaine, notamment pour mesurer objectivement et en temps réel le facteur d'attention et d'engagement lors d'activités d'apprentissage individuelles ou collectives sur différentes plates-formes et contextes à base de technologies XR. Ce projet de doctorat visera donc tout d'abord à étudier l'état de l'art des plates-formes d'apprentissage immersif existantes et la manière de mesurer l'attention et l'engagement dans de tels systèmes en utilisant différentes approches, notamment des données basées sur des biocapteurs (suivi du regard, signaux d'activité électrodermale et d'électrocardiogramme), le contexte du monde virtuel, la ou les techniques interactives utilisées, la tâche d'apprentissage ciblée, etc. Sur cette base, un premier volet important des recherches menées dans le cadre de cette thèse, sera d'étudier comment modéliser ces données en différentes catégories à l'aide de l'apprentissage automatique, comme l'apprentissage profond à l'aide de réseaux neuronaux et de méthodes similaires. Le second volet de ce projet doctoral sera d'explorer les cas d'utilisation potentiels dans le contexte de l'enseignement supérieur afin de valider la performance et la fiabilité des données mesurées dans des situations d'apprentissage typiques via un certain nombre d'études expérimentales dans des environnements XR collaboratifs colocalisés et distants. L'objectif sera ici de démontrer l'applicabilité de l'attention et de l'engagement mesurés en temps réel par les étudiants pour personnaliser automatiquement certaines techniques d'interaction, mais aussi de mettre en évidence que ces personnalisations permettent également aux étudiants de recouvrer attention et engagement dans leurs tâches d'apprentissage.

Different advances in hardware and software have allowed the accelerated and widespread use of Extended Reality (XR), including Virtual Reality and Mixed Reality, in several fields, one of them for educational purposes. There are ample documentation and literature reviews on immersive learning using XR and case studies confirming its application and progress, generally with positive results (i.e., [1], [2]), but there are also challenges and promising future work to be done. Using XR technologies, the success of teaching strategies can be decided through a supportive teaching and learning environment to foster students' psychological wellbeing and mindfulness by stimulating their interest in subjects and encouraging active participation and cooperative learning. Moreover, it is highly important to examine the negative effects of technology on students' learning capability such as addiction to technology or short attention spans, which affect in-depth learning due to lack of concentration, patience, and reflection. In this project we focus on students' attention and engagement in immersive learning situations. Existing works have been done to measure these factors before. For instance, Allcoat and von Mühlenen (2018) study how learning using Virtual Reality (VR) can affect the students' engagement and emotions [7], or Ryan and Poole (2018) on their satisfaction, engagement, recall, and retention [8]. Regarding attention, different elements have been considered such as visual attention detected by eye-tracking technology for learning performance in VR [9]. Other methods have started to explore data provided by position and orientation of the head, hands and feet, Electrodermal Activity (EDA) and Electrocardiogram (ECG) signals. However, fundamental and experimental studies are still needed in this domain, especially to measure objectively the attention and engagement factor in real time during individual learning activities as well as collective ones on different XR platforms and contexts. The Ph.D. project firstly consists of studying the state of the art of existing immersive learning platforms and how to measure attention, engagement in such XR systems using different approaches including biosensor-based data (eye-gaze tracking, Electrodermal Activity (EDA) and Electrocardiogram (ECG) signals), virtual world context, interactive technique(s) used, targeted task, etc. In addition, the investigation of how to model this data into different categories using machine learning such as deep learning using neural networks and similar methods will be an important part of this project. This work also proposes to explore potential use cases in tertiary education context in order to validate the performance and reliability of the measured data in typical learning situations via a number of experimental studies in co-located and remote collaborative XR environments. We aim to demonstrate the applicability of the students' measured attention and engagement in real time to automatically customize some interaction techniques and highlight them to regain their attention.