L'apprentissage profond pour l'évaluation et le retour d'information lors de l'apprentissage de gestes

Deep learning for evaluation and feedback when learning gestures

• Auteur / Autrice : Mégane Millan
• Direction : Catherine Achard
• Type : Thèse de doctorat
• Discipline(s) : Intelligence artificielle
• Date : Soutenance le 11/12/2020
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Sciences mécaniques, acoustique, électronique et robotique de Paris (2000-....)
• Partenaire(s) de recherche : Laboratoire : Institut des systèmes intelligents et de robotique (Paris ; 2009-....)
• Jury : Président / Présidente : Mathias Quoy
• Jury : Examinateurs / Examinatrices : Bertrand Luvison, Hichem Sahbi
• Jury : Rapporteur / Rapporteuse : Fabienne Porée, Jean-Philippe Vandeborre

Mots clés

Mots clés contrôlés

Réseaux neuronaux (informatique)

Reconnaissance optique des formes (informatique)

Traitement d'images -- Techniques numériques

Modèles mathématiques

Évaluation

Reconnaissance gestuelle

Apprentissage profond

Mots clés libres

Analyse de gestes

Apprentissage profond

Evaluation automatique de la qualité d’un geste

Retour d'information

Segmentation sémantique

Réseaux de neurones

Gesture analysis

Deep learning

Automatic quality assessment

Feedback

Semantic segmentation

Résumé

Apprendre un nouveau sport, ou un métier manuel est complexe. En effet, de nombreux gestes doivent être assimilés afin d’atteindre un bon niveau de compétences. Cependant, l’apprentissage de ces gestes ne peut se faire seul. En effet, il est nécessaire de voir la réalisation du geste d’un œil expert afin d’indiquer les corrections pour s’améliorer. Or les experts, que ce soit en sport ou dans les métiers manuels, sont peu disponibles pour analyser et évaluer les gestes d’un novice. Afin d’aider les experts dans cette tâche d’analyse, il est possible de développer des coachs virtuels. Selon les domaines, le coach va posséder plus ou moins de compétences, mais une évaluation selon des critères précis est toujours à privilégier. Fournir un retour sur les erreurs commises est également essentiel pour l’apprentissage d’un novice. Dans cette thèse, différentes solutions pour développer des coachs virtuels les plus efficaces possibles sont proposées. Dans un premier temps, et comme évoqué précédemment, il est nécessaire d’évaluer les gestes. Dans cette optique, un premier travail a consisté à comprendre les enjeux de l’analyse de gestes automatique, afin de développer un algorithme d’évaluation automatique qui soit le plus performant possible. Par la suite, deux algorithmes d’évaluation automatique de la qualité de gestes sont proposés. Ces deux algorithmes fondés sur l’apprentissage profond, ont par la suite été testés sur deux bases de données de gestes différentes afin d’évaluer leur généricité. Une fois l’évaluation réalisée, il est nécessaire de fournir un retour d’information pertinent à l’apprenant sur ses erreurs. Afin de garder une continuité dans les travaux réalisés, ce retour est également fondé sur les réseaux de neurones et l’apprentissage profond. En s’inspirant des méthodes d’explicabilité de réseaux de neurones, une méthode a été développée. Elle permet de remonter aux instants du geste où des erreurs ont été commises selon le modèle d’évaluation. Enfin coupler cette méthode à de la segmentation sémantique, permet d’indiquer aux apprenants quelle partie du geste a été mal réalisée, mais également de lui fournir des statistiques et une courbe d’apprentissage.

Learning a new sport or manual work is complex. Indeed, many gestures have to be assimilated in order to reach a good level of skill. However, learning these gestures cannot be done alone. Indeed, it is necessary to see the gesture execution with an expert eye in order to indicate corrections for improvement. However, experts, whether in sports or in manual works, are not always available to analyze and evaluate a novice’s gesture. In order to help experts in this task of analysis, it is possible to develop virtual coaches. Depending on the field, the virtual coach will have more or less skills, but an evaluation according to precise criteria is always mandatory. Providing feedback on mistakes is also essential for the learning of a novice. In this thesis, different solutions for developing the most effective virtual coaches are proposed. First of all, and as mentioned above, it is necessary to evaluate the gestures. From this point of view, a first part consisted in understanding the stakes of automatic gesture analysis, in order to develop an automatic evaluation algorithm that is as efficient as possible. Subsequently, two algorithms for automatic quality evaluation are proposed. These two algorithms, based on deep learning, were then tested on two different gestures databases in order to evaluate their genericity. Once the evaluation has been carried out, it is necessary to provide relevant feedback to the learner on his errors. In order to maintain continuity in the work carried out, this feedback is also based on neural networks and deep learning. A method has been developed based on neural network explanability methods. It allows to go back to the moments of the gestures when errors were made according to the evaluation model. Finally, coupled with semantic segmentation, this method makes it possible to indicate to learners which part of the gesture was badly performed, and to provide them with statistics and a learning curve.