Perception multimodale et modélisation statistique des événements pédagogiques en classe à l'aide d'une apporache non-individuele respectueuese de la vie privée.

Multimodal perception and statistical modeling of pedagogical classroom events using a privacy-safe non-individual approach.

• Auteur / Autrice : Anderson Augusma
• Direction : Dominique Vaufreydaz
• Type : Projet de thèse
• Discipline(s) : Mathématiques et Informatique
• Date : Inscription en doctorat le 01/11/2021
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale Mathématiques, sciences et technologies de l'information, informatique (Grenoble ; 1995-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'Informatique de Grenoble

Mots clés

Mots clés libres

Multi-modal

Classe sensible au contexte

Deep-Learning

Privacy-safe processing

Modélisation statistique

Deep-Learning

Multi-modal

Context-Aware Classroom

Privacy-safe processing

Statistical modelling

Résumé

Au cours des deux dernières décennies, la recherche multimodale dans le domaine de l'éducation a principalement porté sur les principes de conception pédagogique liés à la charge cognitive des apprenants, et a rarement été menée dans des conditions réelles, comme dans les salles de classe. Les classes sensibles au contexte sont récemment devenues un instrument adéquat pour l'enregistrement et l'analyse des interactions multimodales, grâce à leurs capteurs qui capturent les événements de la classe, sur certaines dimensions principales de la situation d'enseignement : temps, espace, social et épistémique. Les informaticiens ont peu étudié les salles de classe, comme d'autres contextes 'in the wild', même si la recherche sur les espaces perceptifs n'est pas nouvelle. Les salles de classe sensibles au contexte sont des espaces perceptifs multimodaux dont les capacités soulèvent des questions de respect de la vie privée et d'éthique. Dans cette étude doctorale, l'objectif du système est de percevoir les indices sous-jacents des épisodes pédagogiques (comme l'engagement des élèves, leur niveau d'attention, etc.), et non de surveiller les comportements individuels en soi, même s'ils sont inadéquats. Le défi reste de percevoir ces indices tout en préservant la vie privée. Au lieu d'effectuer une classification à l'aide de techniques d'apprentissage automatique de pointe, cette étude de doctorat associe l'informatique et les mathématiques appliquées. Elle vise à optimiser les modèles de prétraitement et d'apprentissage automatique à l'aide de méthodes statistiques permettant de réduire la dimensionnalité, de sélectionner efficacement les caractéristiques (dans l'étape de prétraitement) et d'en estimer les méta-paramètres optimaux. De cette façon, l'approche multimodale proposée, qui combine le traitement du signal, l'apprentissage automatique et les statistiques, sera à la fois frugal et respectueuse de la vie privée, car elle s'appuie sur un nombre minimal de caractéristiques mathématiquement sélectionnées. Cette approche sera comparée aux approches classiques d'apprentissage automatique en perception par ordinateur. Nous concentrerons nos efforts sur la réalisation d'une étude comparative afin d'évaluer la performance relative et le degré de confidentialité que l'on peut garantir aux enseignants et aux élèves dans une salle de classe sensible au contexte. Une étude statistique mesurera la perte de performance en fonction des paramètres de prétraitement et des méta-paramètres dans le processus d'apprentissage automatique. La complexité abordée dans cette thèse provient de la diversité des types de variables enregistrées (des processus d'état qualitatifs aux données spatiales continues), des grandes sources de variabilité des données (enseignant, étudiants, classe, effets du temps) et de la possible discontinuité (temporelle) des données. Les modèles linéaires généralisés à effets mixtes semblent être la famille de modèles adéquate pour saisir la variabilité des données, tout en étant adaptés au type de variables de sortie. Outre la rareté des données pour certaines mesures, des données manquantes sont attendues en raison de défaillances d'enregistrement. Notre méthodologie statistique devra tenir compte de tous ces aspects. Ce faisant, nous serons en mesure de créer un modèle des processus d'enseignement issu de l'approche de la « pédagogie naturelle » (« natural pedagogy ») qui déduit des événements pédagogiques à partir d'événements de bas niveau (par exemple, l'attention partagée, les gestes, …). Les outils de perception développés par l'équipe PERVASIVE pourront être utilisés pour fournir les premières annotations à partir du signal. Il s'agira ensuite d'inclure progressivement les enregistrements multimodaux réalisée dans le projet Teaching Lab et les outils statistiques développés dans cette thèse pour améliorer la pertinence de la modélisation des événements pédagogiques issue de l'approche de « pédagogie naturelle » dans les salles de classe sensible au contexte. Cette étape est l'un des jalons permettant l'émergence des sciences sociales computationnelles pour l'éducation.

Over the past two decades, multimodal research in education has mainly investigated instructional design principles related to learners' cognitive load, and was seldom done in real-world conditions like in classrooms. Context Aware Classrooms (CACs) have recently become an adequate instrument for recording and analyzing multimodal interactions, thanks to their sensors that capture classroom events, on some main dimensions of the instructional situation: time, space, social, and epistemic. Computer scientists have poorly studied CACs, as other “in the wild” contexts, even if research on perceptive spaces is not new. Context-aware classrooms are perceptive spaces with eyes and ears. Some privacy and ethical issues arise from these capabilities. The goal of the system is to perceive the underlying cues of instructional episodes (like students' engagement, attentional level, etc.), not to monitor individual behaviors per se, even if they are inadequate. The challenge remains in perceiving these cues while preserving privacy. Machine learning and deep learning techniques are usually used to analyze audio-visual recordings in order to produce individual indicators (that may harm participants' privacy), before summarizing them for all the students in the class, and are in turn used to answer research questions. In many perception tasks, recent advances of deep neural networks can sustain analyzes of instructional events. Several multimodal input features are extractable to interpret and draw a multimodal model of the classroom situations: action/activity, attention distribution, emotion, facial expression and posture recognition features. Nevertheless, Deep Learning and statistical methods still progress on state-of-the-art corpora while porting models in real conditions remains a research challenge. Instead of merely performing classification using state-of-the-art machine learning techniques, this Ph.D. study couples Computer Science and Applied Mathematics. It aims at optimizing the preprocessing and machine learning models through statistical methods to perform dimensionality reduction, efficient feature selection (in the preprocessing step) and meta-parameters regression (in the machine learning step). This way, the proposed multimodal approach, combining signal processing, machine learning and statistics, will be both frugal and privacy compliant, relying on a minimal number of highly informative features. This approach will be compared to classical machine learning approaches in computer perception. We will concentrate our efforts on conducting a comparative study to assess the relative performance and the privacy degree one can guarantee to teachers and students in a CAC. A statistical study will measure the performance loss with respect to preprocessing parameters and meta-parameters in the machine learning process.