Analyse prédictive des données d’apprentissage, en situation d’enseignement à distance

Predictive analysis of learning data, in distance learning situations

• Auteur / Autrice : Amal Ben Soussia
• Direction : Anne Boyer, Azim Roussanaly
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 05/12/2022
• Etablissement(s) : Université de Lorraine
• Ecole(s) doctorale(s) : École doctorale IAEM Lorraine - Informatique, Automatique, Électronique - Électrotechnique, Mathématiques de Lorraine (1992-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire lorrain de recherche en informatique et ses applications
• Jury : Président / Présidente : Laurent Vigneron
• Jury : Examinateurs / Examinatrices : Anne Boyer, Azim Roussanaly, Sébastien Iksal, Marie-Hélène Abel, Leandro Krug Wives
• Jury : Rapporteurs / Rapporteuses : Sébastien Iksal, Marie-Hélène Abel

Mots clés

Mots clés contrôlés

Analyse comportementale

Prédiction du succès scolaire

Indicateurs de l'enseignement

Formation en ligne

Analyse des données

Mots clés libres

Analyse de l'apprentissage

Traces numériques et indicateurs d'apprentissage

Prédiction précise

Système d'alerte précoce

Évaluation temporelle

Profils d'apprenants

Learning analytics

Numeric traces and learning indicators

Accurate prediction

Early warning systems

Temporal evaluation

Learning profiles

Résumé

Pendant les dernières décennies, l'adoption de l'apprentissage en ligne a rapidement évolué et son utilisation a été encore plus poussée avec la pandémie de la COVID-19. L'objectif de ce mode d'enseignement est de garantir la continuité du processus d'apprentissage. Cependant, ce mode d'apprentissage connaît plusieurs défis, dont le plus répandu est les taux élevés d'échec. Ce problème est dû à de nombreuses raisons comme l'hétérogénéité des apprenants et la diversité de leurs comportements d'apprentissage, leur totale autonomie, le manque et/ou l'inefficacité du suivi pédagogique fourni. Par conséquent, les enseignants ont besoin d'un système basée sur des méthodes analytiques et intelligentes leur permettant une prédiction précise et au plus tôt des apprenants à risque d'échec. Cette solution est communément adaptée dans l'état de l'art. Cependant, les travaux réalisés ne répondent pas à certaines particularités de l'apprentissage (la continuité et l'évolution de l'apprentissage, la diversité des apprenants et leur totale autonomie) et certaines attentes des enseignants comme la génération d'alerte. Cette thèse s'inscrit dans le domaine de l'analyse de l'apprentissage et exploite les traces numériques des apprenants en ligne pour concevoir un système prédictif (Early Warning Systems (EWS)) dédié aux enseignants des établissements en ligne. L'objectif de ce EWS est d'identifier au plus tôt les apprenants à risque pour alerter les enseignants de ces derniers. Afin d'atteindre cet objectif, nous avons traité plusieurs sous-problématiques qui ont permis l'élaboration de quatre contributions scientifiques. Nous commençons par proposer une méthodologie en profondeur qui repose sur les étapes de l'apprentissage automatique (ML) et qui permet l'identification de quatre indicateurs d'apprentissage parmi : la performance, l'engagement, la réactivité et la régularité. Cette méthodologie met aussi en valeur l'importance des données temporelles pour l'amélioration des performances de prédiction. De plus, cette méthodologie a permis de définir le modèle avec la meilleure capacité à identifier les apprenants à risque. La 2ème contribution consiste à proposer une évaluation temporelle des EWS à l'aide des métriques temporelles qui mesurent la précocité des prédictions et la stabilité des systèmes. À partir de ces deux métriques, nous étudions les compromis qui existent entre les métriques de précision de ML et les métriques temporelles. Les apprenants en ligne se caractérisent par la diversité de comportements d'apprentissage. Ainsi, un EWS doit répondre à cette diversité en assurant un fonctionnement équitable entre les différents profils d'apprenants. Nous proposons une méthodologie d'évaluation qui se base sur l'identification des profils d'apprenants et utilise un large spectre de métriques temporelles et de précision. En utilisant un EWS, les enseignants s'attendent à une génération d'alerte. C'est pour cette raison,nous concevons un algorithme qui s'appuie sur les résultats de prédiction, les métriques temporelles et la notion des règles d'alerte pour proposer une méthode automatique de génération d'alerte. Le contexte applicatif de cette thèse est le Centre National d'Enseignement à Distance (CNED). Nous exploitons les traces numériques d'une population de collégiens inscrits en classe 3ème pendant les années scolaires 2017-2018 et 2018-2019.

Over the past few decades, the adoption of e-learning has evolved rapidly and its use has been pushedeven further with the COVID-19 pandemic. The objective of this learning mode is to guarantee thecontinuity of the learning process. However, the online learning is facing several challenges, and themost widespread is the high failure rates among learners. This issue is due to many reasons such asthe heterogeneity of the learners and the diversity of their learning behaviors, their total autonomy, thelack and/or the inefficiency of the pedagogical provided follow-up. . .. Therefore, teachers need a systembased on analytical and intelligent methods allowing them an accurate and early prediction of at-risk offailure learners. This solution is commonly adopted in the state of the art. However, the work carried outdoes not respond to some particularities of the learning process (the continuity and evolution of learning,the diversity of learners and their total autonomy) and to some teachers expectations such as the alertgeneration.This thesis belongs to the field of learning analytics and uses the numeric traces of online learnersto design a predictive system (Early Warning Systems (EWS)) dedicated to teachers in online establish-ments. The objective of this EWS is to identify learners at risk as soon as possible in order to alertteachers about them. In order to achieve this objective, we have dealt with several sub-problems whichhave allowed us to elaborate four scientific contributions.We start by proposing an in-depth methodology based on the Machine Learning (ML) steps and thatallows the identification of four learning indicators among : performance, engagement, reactivity andregularity. This methodology also highlights the importance of temporal data for improving predictionperformance. In addition, this methodology allowed to define the model with the best ability to identifyat-risk learners.The 2nd contribution consists in proposing a temporal evaluation of the EWS using temporal metricswhich measure the precocity of the predictions and the stability of the system. From these two metrics,we study the trade-offs that exist between ML precision metrics and temporal metrics.Online learners are characterized by the diversity of their learning behaviors. Thus, an EWS shouldrespond to this diversity by ensuring an equitable functioning with the different learners profiles. Wepropose an evaluation methodology based on the identification of learner profiles and that uses a widespectrum of temporal and precision metrics.By using an EWS, teachers expect an alert generation. For this reason, we design an algorithm which,based on the results of the prediction, the temporal metrics and the notion of alert rules, proposes anautomatic method for alert generation. This algorithm targets mainly at-risk learners.The context of this thesis is the French National Center for Distance Education (CNED). In parti-cular, we use the numeric traces of k-12 learners enrolled during the 2017-2018 and 2018-2019 schoolyears.