Estimation 3D de la posture humaine en environnement de travail à l'aide de réseaux de neurones profonds

Human pose estimation in 3D for working environment

• Auteur / Autrice : Yue Zhu
• Direction : David Picard
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 19/04/2024
• Etablissement(s) : Marne-la-vallée, ENPC
• Ecole(s) doctorale(s) : École doctorale Mathématiques, Sciences et Technologies de l'Information et de la Communication (Champs-sur-Marne, Seine-et-Marne ; 2010-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique de l'Institut Gaspard Monge (1997-2009)
• Jury : Président / Présidente : Hedi Tabia
• Jury : Examinateurs / Examinatrices : David Picard, Nicolas Thome, Catherine Achard, Hilde Kuehne
• Jury : Rapporteurs / Rapporteuses : Nicolas Thome, Catherine Achard

Mots clés

Mots clés contrôlés

Ergonomie

Réseaux neuronaux (physiologie)

Intelligence artificielle

Mots clés libres

Intelligence artificielle

Vision par ordinateur

Apprentissage profond

Réseaux de neurones

Artificial intelligence

Computer vision

Deep learning

Neural networks

Résumé

Les objectifs de la thèse sont de développer des méthodes et des cadres d'analyse de la posture humaine 3D en environnement de travail pour l'ergonomie. L’ergonomie est une discipline qui consiste à comprendre le fonctionnement du corps lorsqu'il travaille pour l’objectif de préserver la santé des opérateurs tout en permettant l’atteinte de la qualité attendue. Les postures des opérateurs au poste de travail sont un des facteurs d'apparition des maladies professionnelles, et la caractérisation d’une posture est une étape du pré-diagnostic d’une situation de travail. Les méthodes d’intelligence artificielle autour de l’estimation 3D de la pose humaine pour détecter les postures inadaptées au travail peuvent ainsi aider l’ergonome à établir son diagnostic sur un grand nombre de données. Cette thèse propose trois travaux autour de l'estimation de pose humaine 3D pour s'attaquer aux difficultés de mise en œuvre en environnement non contraint tels que les postes de travail.La première contribution propose un algorithme synthétique de génération de poses humaines en 3D. Nous abordons le problème de l'écart de domaine selon lequel les scénarios de travail a plus de variété d'actions et d'environnement que les données de recherche publique. Ce travail présente un algorithme qui permet de générer des squelettes humains 3D synthétiques pendant l'entraînement de réseau des neurons, suivant une distribution de type arbre de Markov qui évolue au fil du temps pour créer des nouvelles postures. Ce travail propose également un processus d'entraînement multi-vues sans échelle basé sur des données purement synthétiques générées à partir de quelques postures initiales. Nous évaluons notre approche sur les deux ensembles de données de référence et obtenons des résultats prometteurs dans une configuration sans aucune donnée réelle. Le deuxième travail propose un cadre de création d'annotations 3D du corps entier à partir d'images multi-vues ainsi qu'un benchmark construit sur la base de ce cadre. Les données couramment utilisées ne comportent normalement qu'une vingtaine d'articulations, ce qui n'est pas suffisant pour qu'un ergonome puisse mesurer certains aspects comme les angles de supination-pronation, c'est pourquoi nous proposons un squelette du corps entier compte 133 articulations, capables de contenir les informations nécessaires. Le cadre de création d'annotations contient 3 étapes allant de la reconstruction géométrique 3D multi-vues à la complétion des squelettes incomplets, et enfin au raffinement main/visage par diffusion. Avec ce cadre, nous introduisons 3 ensembles de données en tant qu'extensions des ensembles de données Human3.6M, CMU-Panoptic et MPI-INF-3DHP existants avec des annotations de points clés 2D et 3D du corps entier pour le corps, le visage et les mains. Un benchmark de trois tâches est proposé sur la base de l'extension du corps entier de Human3.6M.Le troisième travail propose un algorithme qui permet une prédiction continue des poses humaines à travers le temps avec des images d'entrée très limitées pour aborder des séquences vidéo potentiellement corrompues dans un environnement sans contrainte où les travailleurs ne sont pas toujours observés ou même à l'écran en raison de leurs mouvements. Ce travail propose une nouvelle approche qui modélise le mouvement humain comme une fonction continue mise en œuvre par un réseau neuronal, semblable à des représentations neuronales implicites. Nous effectuons une comparaison complète de cette approche avec des méthodes de prédiction de mouvement de pointe sur trois ensembles de données populaires, démontrant des améliorations significatives par rapport aux lignes de base dans la plupart des cas. Enfin, nous avons réalisé un démonstrateur qui effectue une estimation de la pose humaine en 2D et 3D, ainsi qu'une détection des poses critiques pour une analyse ergonomique, capable d'analyse rapide même sur un ordinateur équipé uniquement d'un CPU.

The objectives of the thesis is to develop the methods and frameworks to analysis 3D human postures in the working environment for ergonomic propose.Ergonomics is a discipline which consists of understanding body work with the objective of preserving the health of operators while allowing achievement of the expected quality. The postures of operators at work stations are one of the factors in the appearance of occupational diseases, and the characterization of a posture is a step in the pre-diagnosis of a work situation. Artificial intelligence methods using 3D human pose estimation to detect unsuitable postures at work could help ergonomist to establish their diagnosis on a large quantity of data.This thesis proposes three works on 3D human pose estimation to attack the difficulties of unconstrained environment such as work stations.The first work proposes a synthetic 3D human pose generation algorithm for training 2D to 3D human pose lifting. We tackle with the domain gap problem between public research data which have constrained environment plus limited number of action and unconstrained working environment data with much more variety of actions. This work presents an algorithm which allows to generate synthetic 3D human skeletons on the fly during the training, following a Markov-tree type distribution which evolve through out time to create unseen poses. This work also proposes a scaleless multi-view training process based on purely synthetic data generated from a few initial poses. We evaluate our approach on two benchmark datasets and achieve promising results in a zero shot setup.The second work proposes a framework of making 3D wholebody annotations from multi-view image data as well as a few datasets and a benchmark built based on this framework to tackle with the skeleton model capability problem. Public research data normally only has around 20 keypoints which is not enough for ergonomist to measure certain aspects like supination-pronation angles, while the wholebody skeleton has 133 keypoints, capable for obtaining the necessary information. The annotation-making framework contains 3 steps from multi-view 3D geometry reconstruction, to incomplete skeleton completion, and finally hand/face refinement through diffusion. With this framework, we introduce 3 datasets as extensions of existing Human3.6M, CMU-Panoptic and MPI-INF-3DHP datasets with wholebody 2D and 3D keypoint annotations for body, face, and hands. A benchmark of three tasks is proposed based on Human3.6M wholebody extension: 3D whole-body lifting from complete 2D keypoints, from incomplete 2D keypoints, and from monocular images.The third work proposes an algorithm which allows a continuous estimation of human poses through time with very limited input frames to tackle potential corrupted video sequences in unconstrained environment where the workers are not always observed or even in the screen due to their movements. This work proposes a novel approach that models human motion as a continuous function implemented by a neural network, akin to neural implicit representations. We conduct a comprehensive comparison of this approach with state-of-the-art motion prediction methods on three popular datasets, demonstrating significant improvements over the baselines in most cases.Finally, we made a demonstration that perform 2D and 3D human pose estimation, as well as critical pose detection for ergonomic analysis, capable of fast processing even on a CPU-only computer.