Réseaux de neurones graphiques pour l'estimation de la pose humaine

Graph neural networks for human pose estimation

• Auteur / Autrice : Shuo Yang
• Direction : Aymeric Histace
• Type : Projet de thèse
• Discipline(s) : Stic - ed em2psi
• Date : Inscription en doctorat le 09/02/2023
• Etablissement(s) : CY Cergy Paris Université en cotutelle avec Vrije Universiteit Brussel
• Ecole(s) doctorale(s) : École doctorale Économie, Management, Mathématiques, Physique et Sciences Informatiques (Cergy-Pontoise, Val d'Oise)
• Partenaire(s) de recherche : Laboratoire : Equipes Traitement de l'Information et Systèmes (Cergy-Pontoise, Val d'Oise ; 2002-....)

Mots clés

Mots clés libres

Réseaux de neurones graphiques

Estimation de la pose humaine

Apprentissage profond géométrique

Graph neural networks

Human pose estimation

Geometric deep learning

Résumé

L'estimation des postures humaines dans les vidéos a toujours été un domaine de recherche actif en vision par ordinateur. Les premières solutions à ce problème reposent en grande partie sur l'apprentissage automatique classique. Grâce au développement important de méthodes récentes d'apprentissage profond qui révolutionnent de nombreux domaines de la vision par ordinateur et à la disponibilité d'ensembles de données à grande échelle sur la pose humaine, de nombreux problèmes d'estimation de la pose humaine ont été résolus. . Dans de nombreuses applications du monde réel, cependant, les méthodes existantes d'estimation de la posture ne sont pas suffisamment matures pour créer une IA fiable pouvant remplacer les humains. Quelques exemples sont l'évaluation des mouvements, l'analyse des blessures et la reconnaissance des actions dans le sport, pour n'en nommer que quelques-uns. Ces applications nécessitent des techniques d'estimation de pose humaine en temps réel et très précises, capables de gérer les mouvements rapides, les poses inhabituelles, l'auto-occlusion, etc. ont de plus en plus attiré l'attention de la communauté de l'apprentissage automatique et ces modèles ont démontré des performances de pointe dans de nombreuses tâches d'apprentissage automatique. Les GCN généralisent de nombreux concepts de réseaux de neurones convolutifs pour traiter les données de graphes. Bien qu'une variété de GCN ait été proposée pour traiter la classification de la pose humaine 3D, leur application dans l'estimation de la pose humaine 3D est actuellement sous-exploitée. le squelette humain peut être naturellement représenté par un graphe.

Human pose estimation has always been an active research domain in computer vision. Early solutions to this problem are based heavily on classical machine learning.Thanks to the extensive development of recent deep learning methods that revolutionize many domains in computer vision and the availability of large-scale datasets ofhuman pose, many issues in human pose estimation have been addressed. In many real-world applications, however, existing human pose estimation methods are notmature enough to build trustworthy AI that can replace humans. Some examples are movement assessment, analysis of injuries, and action recognition in sports, toname a few. These applications require real-time, highly accurate human pose estimation techniques that are able to deal with fast movements, unusual poses, self-occlusion, etc. Recently, Graph Convolutional Networks (GCNs) [1, 2, 3, 4, 5] have increasingly attracted attention in the machine learning community and these modelshave demonstrated state-of-the-art performance in many machine learning tasks. GCNs generalize many concepts of Convolutional Neural Networks to deal with graphdata. Although a variety of GCNs has been proposed to address 3D human pose classification, their application in 3D human pose estimation is currently underexploited.GCNs are particularly well suited for analysing human pose data since they can capture complex dependencies of human joints during an action where the humanskeleton can be naturally represented by a graph.