Reconnaissance d’actions humaines basée sur l'apprentissage profond et représentation squelettique : Propositions d’approches hors ligne et en ligne dans un contexte d’Industrie 5.0

Human Action Recognition Based on Deep Learning and Skeletal Representation : Proposed Offline and Online Approaches in an Industry 5.0 Context

• Auteur / Autrice : Toufik Benmessabih
• Direction : David Baudry, Vincent Havard, Rim Salmi Slama
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 05/02/2026
• Etablissement(s) : Paris, ENSAM
• Ecole(s) doctorale(s) : École doctorale Sciences des métiers de l'ingénieur (Paris ; 2000-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'innovation numérique pour les entreprises et les apprentissages au service de la compétitivité des territoires (Saint-Etienne-du-Rouvray, Seine-Maritime) - Laboratoire d'innovation numérique pour les entreprises et les apprentissages au service de la compétitivité des territoires (Saint-Etienne-du-Rouvray, Seine-Maritime)
• Jury : Président / Présidente : Hassen Drira
• Jury : Examinateurs / Examinatrices : Vincent Havard, Rim Salmi Slama, Hassen Drira, Catherine Achard, Halim Benhabiles, Hedi Tabia
• Jury : Rapporteurs / Rapporteuses : Catherine Achard, Halim Benhabiles
• DOI : 10.70675/8904a1d1z6e2bz49c4z8bc9z7b80de2b4c66

Mots clés

Mots clés contrôlés

Apprentissage profond

Thèses et écrits académiques

Jumeaux numériques

Interaction homme-robot

Vision par ordinateur

Reconnaissance gestuelle

Réseaux neuronaux graphiques

Mots clés libres

Reconnaissance d'actions

Apprentissage profond

Industrie 5.0

Distillation de connaissance

Représentation basée graphe

Vision par ordinateur

Action Recognition

Deep Learning

Industry 5.0

Knowledge distillation

Graph based representation

Computer vision

Résumé

Dans le contexte de l’industrie 5.0, qui place l’humain au cœur du processus de production, notamment pour favoriser la collaboration humain-robot, améliorer l’ergonomie des postes de travail et mettre à jour les jumeaux numériques, la reconnaissance d’actions humaine (RAH) devient une composante importante.Cependant, malgré les avancées récentes de l’apprentissage profond, la RAH demeure un problème ouvert dans ce contexte industriel. Les approches existantes restent encore peu efficaces pour détecter avec précision et en temps réel des actions hétérogènes, présentant une dynamique temporelle importante et réalisées dans des environnements complexes. Les verrous scientifiques majeurs concernent donc la modélisation conjointe des dynamiques spatiales et temporelles des séquences d’actions à partir de jeux de données déséquilibrés, l’interprétabilité des modèles et leur adaptation aux contraintes du temps réel.Plusieurs contributions ont permis de relever ces défis. Tout d’abord, la modalité squelettique a été exploitée, car elle est à la fois robuste et précise pour représenter le mouvement humain, et la première proposition a permis de l’intégrer dans une stratégie à multi-résolutions temporelles (coarse-to-fine). La méthodologie proposée améliore la distinction entre les actions de courte durée et dépasse les approches existantes en termes de performance. Ensuite, cette méthodologie a été enrichie d’une représentation en graphe, qui conserve la topologie du squelette tout au long de l’architecture du modèle, et intègre un mécanisme d’attention, permettant une représentation des mouvements plus expressive et une interprétabilité des décisions du modèle de segmentation d’actions. Enfin, comme troisième contribution, nous avons proposé une approche en ligne de détection d’actions, basée sur la distillation progressive de connaissances sous forme de leçons (temporelle, d’occultation et d’objet) transférées d’un modèle hors ligne enseignant vers un modèle en ligne étudiant, et adaptée aux contraintes industrielles. Cette stratégie renforce la stabilité temporelle, la robustesse face aux pertes de données dues aux occultations et la distinction des actions liées aux interactions avec les outils manipulés (objets) lors des tâches d’assemblage. Nos résultats montrent que notre méthode surpasse l'état de l'art, tant quantitativement que qualitativement, sur le jeu de données InHARD.Ce travail ouvre des perspectives sur des applications industrielles concrètes. Il pourra notamment contribuer à l’évaluation ergonomique des postes de travail, à la collaboration humain-robot par l’assistance en temps réel aux opérateurs, ainsi qu’à la mise à jour de jumeaux numériques. Ces apports s’inscrivent dans une démarche plus large d’intégration de systèmes de perception intelligents, en cohérence avec la transition vers l’industrie 5.0.

In the context of Industry 5.0, which places humans at the center of production processes, particularly to foster human–robot collaboration, improve workplace ergonomics, and update digital twins, human action recognition (HAR) is becoming a key component. However, despite recent advances in deep learning, HAR remains an open problem in industrial environments. Existing approaches are still not sufficiently effective at accurately detecting heterogeneous actions in real time, especially when performed in constrained environments. The major scientific challenges lie in jointly modeling the spatial and temporal dynamics of action sequences from imbalanced datasets, ensuring model interpretability, and adapting models to real-time constraints.Several contributions in this thesis addressed these challenges. First, skeletal data were exploited for their robustness and precision in representing human movement, and the initial contribution introduced a multi-resolution temporal strategy (coarse-to-fine) to process this modality. The proposed methodology improves the discrimination of short-duration actions and surpasses existing approaches in performance. Second, this methodology was extended using a graph-based representation that preserves the skeletal topology throughout the model architecture and incorporates an attention mechanism, enabling more expressive motion representations and improving the interpretability of action segmentation decisions. Finally, as a third contribution, we proposed an online action detection approach based on progressive knowledge distillation. This strategy transfers several types of “lessons” (temporal, occlusion-based, and object-related) from an offline teacher model to an online student model, making it suitable for industrial constraints. This approach enhances temporal stability, robustness to occlusions and missing data, and improves the distinction of actions involving tool manipulation during assembly. Our results show that the proposed method outperforms the state of the art, both quantitatively and qualitatively, on the InHARD dataset.This work opens several perspectives toward concrete industrial applications. It can support ergonomic workstation assessment, human–robot collaboration through real-time operator assistance, and continuous updating of digital twins. These contributions align with a broader vision of integrating intelligent perception systems, in line with the transition toward Industry 5.0.