Exploration de l'apprentissage multi-tâche et du méta-apprentissage pour la reconnaissance simultanée et hiérarchique des activités, actions et intentions professionnelles

Exploration of multi-task learning and meta-learning for the simultaneous and hierarchical recognition of professional activities, actions, and intentions

• Auteur / Autrice : Gavriela Senteri
• Direction : Sotiris Manitsaris
• Type : Projet de thèse
• Discipline(s) : Informatique temps réel, robotique et automatique - Paris
• Date : Inscription en doctorat le 01/09/2022
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : Ecole doctorale Ingénierie des Systèmes, Matériaux, Mécanique, Énergétique
• Partenaire(s) de recherche : Laboratoire : Mathématiques et Systèmes
• Partenaire(s) de recherche : Equipe de recherche : CAOR - Centre de CAO et Robotique
• Partenaire(s) de recherche : établissement opérateur d'inscription : Mines Paris-PSL

Mots clés

Mots clés libres

Reconnaissance de gestes

Reconnaissance d'action

Méta-apprentissage

Primitives de mouvement

Apprentissage multi-tâches

Détection d'intention

Activity recognition

Action recognition

Meta-learning

Multi-task learning

Intention detection

Movement primitives

Résumé

Les machines sont désormais capables de reconnaître des gestes et actions situés ainsi que de les anticiper lors d'une tâche collaborative humain-robot. Néanmoins, la généralisation et l'extrapolation constituent toujours des défis de recherche pour le domaine de la reconnaissance de gestes et actions. La généralisation est un problème bien défini en apprentissage automatique. Du point de vue du mouvement humain, il est désormais possible de reconnaître des modèles de mouvement à partir d'un vocabulaire relativement restreint. Néanmoins, en raison de la nature humaine et des variations dérivées de l'exécution d'un mouvement, la généralisation peut s'avérer difficile, même avec des gestes de même difficulté et nature, par ex. différents gestes au sein du même métier. L'apprentissage multi-tâches constitue une piste très prometteuse pour l'apprentissage de mouvements primitifs qui sont récurrents pour des actions au sein du même métier ou de métiers différents. Mouvements primitifs, actions et activités pourraient être considérés comme des tâches corrélées que le réseau doit apprendre. L'extrapolation est aussi un problème bien défini qui consiste à entrainer une IA sur un certain type de données de manière à être capable de prédire sur un autre type de données. Du point de vue du mouvement humain, l'extrapolation signifierait d'entraîner la machine sur un très grand nombre de mouvements primitifs communs à différents métiers, par ex. visser, attendre, poser, tourner etc., dans le but de les reconnaître et de caractériser hiérarchiquement l'activité humaine comme une suite d'actions constituées à partir de mouvements primitifs. Le méta-apprentissage peut être une voie de recherche prometteuse en raison de sa facilité à apprendre à apprendre, déduisant ainsi à partir d'un ensemble d'actions d'autres actions inédites. La thèse vise à étudier le problème de la reconnaissance hiérarchique et simultanée des activités, actions et intentions humaines dans un contexte professionnel à l'aide de différents capteurs avec ou sans interaction avec un robot. Dans un premier temps, on s'intéressera essentiellement à la cartographie des méthodologies en a) apprentissage multi-tâche (MTL) et b) méta-apprentissage. L'objectif est de pouvoir comparer le potentiel des deux paradigmes qui, malgré leurs différences subtiles, partagent le principe de la structure partagée entre différentes tâches avec le but d'adresser les problèmes de généralisation et d'adaptation. Dans un second temps, on s'intéressera à la conceptualisation d'une architecture neuronale qui sera capable de « raisonner » en même temps en termes d'activité humaine (e.g. assemblage, packaging etc.), des actions au sein de l'activité ainsi que des intentions qui seront modélisées à l'aide du principe des mouvements primitifs. La définition de mouvements primitifs sera basée sur la liste des postures professionnelles définies par des protocoles d'évaluation ergonomique, tels que le Ergonomic Assessment WorkSheet (EAWS). La possibilité d'entrainer le ou les réseaux sur de multiples signaux (rotations, accélérations, son de l'environnement, images, etc.) provenant de différents datasets et de reconnaître seulement sur de signaux provenant de smartphones ou smartwatch est à considérer.

Machines are now able to recognize situated gestures and actions as well as anticipate them during a human-robot collaborative task. Nevertheless, generalization and extrapolation still constitute research challenges in the field of gesture and action recognition. Generalization is a well-defined problem in machine learning. From a human movement perspective, it is now possible to recognize movement patterns from a relatively small vocabulary. However, due to the human nature and the variations derived from the execution of a movement, generalization may prove difficult, even with movements of the same difficulty and nature, e.g. different gestures within the same profession. Multi-task learning is a very promising way of learning primitive movements that are recurrent in actions within the same or different professions. Primitive movements, actions, and activities could be considered as correlated tasks that the network has to learn. Extrapolation is also a well-defined problem that consists in training an AI on a certain type of data in order to be able to predict on another type of data. From the point of view of human movement, extrapolation would mean training the machine on a very large number of primitive movements common to different professions, e.g. screw, wait, place, turn, etc., with the aim of recognizing them and hierarchically characterizing human activity as a series of actions made up of primitive movements. Meta-learning can be promising because of its ease in learning to learn, thus deducing from a set of actions other new actions. The thesis aims to study the problem of hierarchical and simultaneous recognition of human activities, actions, and intentions in a professional context using different sensors with or without interaction with a robot. Initially, we will mainly focus on the mapping of methodologies in a) multi-task learning (MTL) and b) meta-learning. The objective is to be able to compare the potential of the two categories which, despite their subtle differences, share the principle of shared structure between different tasks with the aim of addressing the problems of generalization and adaptation. In a second step, we will focus on the conceptualization of a neural architecture that will be able to ''reason'' at the same time in terms of human activity (e.g. assembly, packaging, etc.), actions within the activity as well as intentions that will be modeled using the principle of primitive movements. The definition of primitive movements will be based on the list of professional postures defined by ergonomic assessment protocols, such as the Ergonomic Assessment WorkSheet (EAWS). The possibility of training the network(s) on multiple signals (rotations, accelerations, environmental sound, images, etc.) coming from different datasets and of recognizing only signals coming from smartphones or smartwatches will be considered.