Analyse et reconnaissance du mouvement humain en continue à partir de caméras pour l'interaction humain-robot et la conception de postes de travail dans un contexte industrie 5.0

Continuous camera-based human motion analysis and recognition for human-robot interaction and workstation design in the context of Industry 5.0

• Auteur / Autrice : Toufik Benmessabih
• Direction : David Baudry
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 01/02/2023
• Etablissement(s) : Paris, HESAM
• Ecole(s) doctorale(s) : École doctorale Sciences des métiers de l'ingénieur (Paris)
• Partenaire(s) de recherche : Laboratoire : CESI LINEACT - Laboratoire d'Innovation Numérique
• Partenaire(s) de recherche : établissement de préparation de la thèse : Paris, ENSAM

Mots clés

Mots clés libres

Reconnaissance d'actions

Apprentissage profond

Vision par ordinateur

Collaboration homme-robot

Action Recognition

Deep Learning

Computer vision

Human-Robot Collaboration

Résumé

Dans le cadre de l'industrie 5.0, le processus de fabrication est centré sur l'humain. Une attention particulière est prêtée à ses gestes et déplacements tout en veillant à son bien-être. Dans ce contexte, l'objectif de la thèse est de créer un système d'analyse de mouvement de l'opérateur (geste et actions) à l'aide de caméras et de capteurs non-intrusifs. En s'appuyant sur des approches de Deep Learning tels que les réseaux convolutifs basés graphe (GCN), le système devra être capable de détecter avec précision l'action d'une personne dans un flux de données et cela en ligne, ce qui représente un verrou scientifique majeur. Cette recherche est appliquée à un cadre spécifique d'un système d'assemblage impliquant collaborativement opérateurs et cobots, voire manipulateur mobile. L'objectif sera de pouvoir reconnaître l'activité et les actions faites par l'opérateur à l'aide de l'approche proposée tout au long du processus afin de permettre les interactions humain-robot et d'analyser l'ergonomie et l'agencement de l'ilot de production tout en mettant à jour son jumeau numérique. Le système sera déployé sur la plateforme industrie du futur de LINEACT CESI et son jumeau numérique

In the area of industry 5.0, the manufacturing process is centred on the human being. Particular attention is paid to his gestures and movements while taking care of his well-being. In this context, the objective of the thesis is to create a system for the analysis of the operator's movements (gestures and actions) using cameras and non-intrusive sensors. Based on Deep Learning approaches such as graph-based convolutional networks (GCN), the system should be able to accurately detect a person's action in an online data stream, which is a major scientific challenge. This research is applied to a specific framework of an assembly system involving collaborative operators and cobots, or even mobile manipulators. The objective is to be able to recognise the activity and actions made by the operator using the proposed approach throughout the process in order to allow human-robot interactions and to analyse the ergonomics and layout of the production island while updating its digital twin. The system will be deployed on the LINEACT CESI Industry of the Future platform and its digital twin.