Thèse soutenue

Reconnaissance d’actions humaines par apprentissage profond et génération de données étiquetées basées sur le jumeau numérique de poste cobotique industriel.

FR  |  
EN
Auteur / Autrice : Mejdi Dallel
Direction : David Baudry
Type : Thèse de doctorat
Discipline(s) : Informatique
Date : Soutenance le 14/12/2022
Etablissement(s) : Normandie
Ecole(s) doctorale(s) : École doctorale mathématiques, information et ingénierie des systèmes (Caen)
Partenaire(s) de recherche : Etablissement de préparation de la thèse : Université de Rouen Normandie (1966-....) - Centre d'études supérieures industrielles Rouen (Saint-Etienne du Rouvray, Seine-Maritime ; 1958-....)
Laboratoire : Laboratoire d'innovation numérique pour les entreprises et les apprentissages au service de la compétitivité des territoires (Saint-Etienne-du-Rouvray, Seine-Maritime)
Jury : Président / Présidente : Rémi Boutteau
Examinateurs / Examinatrices : Ali Douik, Bernard Kamsu-Foguem, Danielle Nuzillard, Vincent Havard
Rapporteur / Rapporteuse : Ali Douik, Bernard Kamsu-Foguem

Résumé

FR  |  
EN

La reconnaissance d’actions humaines (HAR) permet de faciliter les interactions et la collaboration humain-robot (HRC) au sein de l’industrie 4.0. En effet, les robots collaboratifs sont de plus en plus présents dans notre quotidien et induisent une interaction de plus en plus étroite entre l’humain et le robot, concept rassemblé dans le terme « cobotique ». Afin de garantir une collaboration efficace, les robots doivent être capables de comprendre leur environnement et doivent pouvoir communiquer sur leurs tâches en cours et leurs intentions. Cette communication et ces interactions représentent un enjeu majeur de performance et de sécurité. Dans ce contexte, cette thèse aborde le problème de reconnaissance d’actions humaines dans un milieu industriel pour répondre aux exigences de ses applications et aborder les problématiques de traitement en temps réel en impliquant un cas d'utilisation industriel lié à l’assemblage sur un poste cobotique d’un produit manufacturé.Dans un premier temps, nous avons réalisé un état de l’art sur la collaboration humain-robot, les jeux de données de HAR et les méthodes associées. Cette étude a mis en évidence le manque des jeux de données de HAR dans un contexte industriel et nous a amené à proposer le jeu de données d'actions humaines industrielles nommé InHARD portant sur l’assemblage sur poste cobotique. L’introduction de ce jeu de données a révélé que l’entrainement des algorithmes de HAR pouvait bénéficier de l’apport des outils de Réalité Virtuelle (RV) permettant de simuler les interactions humains robots afin de surmonter les problèmes liés à la labélisation et au manque de données. Ainsi, nous avons proposé une méthodologie couplant jumeau numérique (DT) et réalité virtuelle pour extraire un modèle numérique des humains et permettre la génération automatique de données labélisées. Cette méthodologie a été appliquée pour créer le jeu de données InHARD-DT et nous avons évalué la robustesse et la généralisation de notre méthode en entrainant l’algorithme de HAR avec les données du jumeau numérique et en validant sur des données du jumeau physique. Les résultats montrent une généralisation atteignant les 89% de précision et de F1-score, prouvant la pertinence de l’approche proposée.Nos études sur les algorithmes d’apprentissage profond basés sur des données squelettes ont été approfondies et ont permis de proposer une nouvelle méthode utilisant les réseaux de neurones convolutionnels à graphes spatio-temporel avec une fenêtre glissante et un vote majoritaire nommé STGCN-SWMV. Cette approche permet une détection en temps réel sur des données en flux continu. Nous avons montré l’efficacité de la méthode présentée qui, en comparaison avec les méthodes de HAR de l’état de l’art, a obtenu de meilleures performances de classification sur les jeux de données OAD et UOW.Les travaux de cette thèse ouvrent différentes possibilités et applications pour améliorer la collaboration humain-robot, qui est en adéquation avec la transition de l’industrie 4.0 vers l’industrie 5.0 plaçant l’humain au cœur de l’industrie.