Reconnaissance d’actions humaines par apprentissage profond et génération de données étiquetées basées sur le jumeau numérique de poste cobotique industriel.

Human Action Recognition using Deep Learning and generation of label data based on the digital twin of an industrial cοbοtic workstation

• Auteur / Autrice : Mejdi Dallel
• Direction : David Baudry
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 14/12/2022
• Etablissement(s) : Normandie
• Ecole(s) doctorale(s) : École doctorale mathématiques, information et ingénierie des systèmes (Caen)
• Partenaire(s) de recherche : Etablissement de préparation de la thèse : Université de Rouen Normandie (1966-....) - Centre d'études supérieures industrielles Rouen (Saint-Etienne du Rouvray, Seine-Maritime ; 1958-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'innovation numérique pour les entreprises et les apprentissages au service de la compétitivité des territoires (Saint-Etienne-du-Rouvray, Seine-Maritime)
• Jury : Président / Présidente : Rémi Boutteau
• Jury : Examinateurs / Examinatrices : Ali Douik, Bernard Kamsu-Foguem, Danielle Nuzillard, Vincent Havard
• Jury : Rapporteurs / Rapporteuses : Ali Douik, Bernard Kamsu-Foguem

Mots clés

Mots clés contrôlés

Intelligence artificielle

Apprentissage profond

Réseaux neuronaux (informatique)

Robots de service

Interaction homme-robot

Industrie 4.0

Mots clés libres

Reconnaissance d'actions humaines industrielles (HAR)

Industrie 4.0

Collaboration humain-robot (HRC)

Jumeaux numériques (DT)

Réseaux convolutionnels à graphes spatio-temporels (ST-GCN)

Industrial human action recognition (HAR)

Industry 4.0

Human-Robot Collaboration (HRC)

Digital Twins (DT)

Spatial-temporal graph convolutional networks (ST-GCN)

Résumé

La reconnaissance d’actions humaines (HAR) permet de faciliter les interactions et la collaboration humain-robot (HRC) au sein de l’industrie 4.0. En effet, les robots collaboratifs sont de plus en plus présents dans notre quotidien et induisent une interaction de plus en plus étroite entre l’humain et le robot, concept rassemblé dans le terme « cobotique ». Afin de garantir une collaboration efficace, les robots doivent être capables de comprendre leur environnement et doivent pouvoir communiquer sur leurs tâches en cours et leurs intentions. Cette communication et ces interactions représentent un enjeu majeur de performance et de sécurité. Dans ce contexte, cette thèse aborde le problème de reconnaissance d’actions humaines dans un milieu industriel pour répondre aux exigences de ses applications et aborder les problématiques de traitement en temps réel en impliquant un cas d'utilisation industriel lié à l’assemblage sur un poste cobotique d’un produit manufacturé.Dans un premier temps, nous avons réalisé un état de l’art sur la collaboration humain-robot, les jeux de données de HAR et les méthodes associées. Cette étude a mis en évidence le manque des jeux de données de HAR dans un contexte industriel et nous a amené à proposer le jeu de données d'actions humaines industrielles nommé InHARD portant sur l’assemblage sur poste cobotique. L’introduction de ce jeu de données a révélé que l’entrainement des algorithmes de HAR pouvait bénéficier de l’apport des outils de Réalité Virtuelle (RV) permettant de simuler les interactions humains robots afin de surmonter les problèmes liés à la labélisation et au manque de données. Ainsi, nous avons proposé une méthodologie couplant jumeau numérique (DT) et réalité virtuelle pour extraire un modèle numérique des humains et permettre la génération automatique de données labélisées. Cette méthodologie a été appliquée pour créer le jeu de données InHARD-DT et nous avons évalué la robustesse et la généralisation de notre méthode en entrainant l’algorithme de HAR avec les données du jumeau numérique et en validant sur des données du jumeau physique. Les résultats montrent une généralisation atteignant les 89% de précision et de F1-score, prouvant la pertinence de l’approche proposée.Nos études sur les algorithmes d’apprentissage profond basés sur des données squelettes ont été approfondies et ont permis de proposer une nouvelle méthode utilisant les réseaux de neurones convolutionnels à graphes spatio-temporel avec une fenêtre glissante et un vote majoritaire nommé STGCN-SWMV. Cette approche permet une détection en temps réel sur des données en flux continu. Nous avons montré l’efficacité de la méthode présentée qui, en comparaison avec les méthodes de HAR de l’état de l’art, a obtenu de meilleures performances de classification sur les jeux de données OAD et UOW.Les travaux de cette thèse ouvrent différentes possibilités et applications pour améliorer la collaboration humain-robot, qui est en adéquation avec la transition de l’industrie 4.0 vers l’industrie 5.0 plaçant l’humain au cœur de l’industrie.

Human Action Recognition (HAR) facilitates human-robot (HRC) interactions and collaboration within Industry 4.0. Indeed, collaborative robots are increasingly present in our daily lives and induce an increasingly close interaction between humans and robots, a concept brought together in the term “cobotics”. In order to ensure effective collaboration, robots must be able to understand their environment and must be able to communicate about their ongoing tasks and intentions. This communication and these interactions represent a major performance and security challenge. In this context, this thesis addresses the problem of recognizing human actions in an industrial environment to meet the requirements of its applications and to address the problems of real-time processing by involving an industrial use case related to assembly on a cobotic station of a manufactured product.First, we carried out a state of the art on human-robot collaboration, HAR datasets and associated methods. This study highlighted the lack of HAR datasets in an industrial context and led us to propose the Industrial Human Action Recognition dataset named InHARD relating to assembly on a cobotic station. The introduction of this dataset revealed that the training of HAR algorithms could benefit from the contribution of Virtual Reality (VR) tools allowing to simulate human-robot interactions in order to overcome the problems related to labeling and lack of data. Thus, we have proposed a methodology coupling Digital Twins (DT) and Virtual Reality to extract a digital model of humans and allow automatic labeled data generation. This methodology was applied to create the InHARD-DT dataset and we evaluated the robustness and generalizability of our method by training the HAR algorithm with data from the digital twin and validating on data from the physical twin. The results show a generalization reaching 89% of Accuracy and F1-score, proving the effectiveness of the proposed approach.Our studies on Deep Learning (DL) algorithms based on skeleton data have been deepened and allowed to propose a new method using Spatial-Temporal Graph Convolutional Neural Networks with a Sliding Window and a Majority Voting named STGCN-SWMV. This approach allows real-time detection on continuous data streams. We have shown the efficiency of the presented method which, in comparison with state-of-the-art HAR methods, obtained better classification performance on the OAD and UOW datasets.The work of this thesis opens up different possibilities and applications to improve human-robot collaboration, which is in line with the transition from industry 4.0 to industry 5.0, placing humans at the heart of industry.