Analyse de la posture par apprentissage automatique profond

Posture analysis using deep machine learning

• Auteur / Autrice : Kévin Reby
• Direction : Marie Beurton-Aimar
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 14/12/2022
• Etablissement(s) : Bordeaux
• Ecole(s) doctorale(s) : École doctorale Mathématiques et informatique (Talence, Gironde ; 1991-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire bordelais de recherche en informatique
• Partenaire(s) de recherche : Equipe de recherche : Images et Son
• Jury : Président / Présidente : Akka Zemmari
• Jury : Examinateurs / Examinatrices : Marie Beurton-Aimar, Olivier Alata, David Helbert, Serge Marchand, Pascal Bourdon
• Jury : Rapporteurs / Rapporteuses : Olivier Alata, David Helbert

Mots clés

Mots clés contrôlés

Apprentissage profond

Vision par ordinateur

Apprentissage automatique

Mots clés libres

Apprentissage automatique profond

Reconnaissance de la posture

Vision par ordinateur

Apprentissage automatique

Reconnaissance de la douleur

Informatique affective

Deep learning

Human pose recognition

Computer vision

Machine learning

Pain recognition

Affective computing

Résumé

La convergence des secteurs de la santé et du numérique a conduit au développement de thérapeutiques numériques (DTx). Ce travail a été réalisé dans le cadre du développement de DTx pour la douleur. En effet, la douleur est un problème important auquel sont confrontés les individus, les familles, les prestataires de soins et la société dans son ensemble. La douleur est généralement mesurée par l’autoévaluation du patient ou les impressions du clinicien, soit par des entretiens cliniques, soit par des échelles d’évaluation visuelle et numérique de la douleur. Bien qu’utile, l’auto-déclaration de la douleur ne peut être utilisée avec les jeunes enfants, les patients présentant certaines déficiences neurologiques ou psychiatriques, ou avec de nombreux patients en soins postopératoires ou dans des états de conscience transitoires. Les progrès récents de la vision par ordinateur et de l’apprentissage automatique pour l’analyse et la modélisation automatiques du comportement humain pourraient jouer un rôle essentiel pour surmonter certaines limitations dans un contexte clinique. Par conséquent, l’évaluation automatique et objective des troubles de la douleur à partir de signaux comportementaux présente un intérêt croissant pour les cliniciens et les informaticiens. Le développement et le succès des méthodes basées sur le Deep Learning dans le domaine de la vision par ordinateur ont permis des avancées significatives dans le domaine de la reconnaissance automatique de la douleur. La plupart des études se sont concentrées sur la détection faciale de la douleur, alors que peu de recherchesont été menées sur la pose humaine. Dans ce travail, nous proposons d’utiliser un modèle de réseau convolutif spatiotemporel (ST-GCN) à deux flux et des mécanismes d’attention spatiale et temporelle, pour évaluer le comportement d’une personne à partir de sa posture. Nous avons testé notre modèle sur UI-PRMD, un ensemble de données de référence qui fournit des données sur le squelette à l’aide de systèmes de capture de mouvement. Nos résultats montrent que nos modèles ST-GCN basés sur l’attention sont plus performants que les méthodes de pointe pour la prédiction du score de qualité et la classification binaire.

The convergence of health and digital technology has led to the development of digital therapeutics (DTx). This work was done in the context of the development of DTx for pain. Human pain is expressed by voice and vocalizations, by facial expressions, but also through posture and particular behaviors. Recent advances in computer vision and machine learning for automatic analysis and modeling of human behavior could play a vital role in overcoming some limitations in a clinical context. Consequently, automated and objective assessment of pain disorders from behavioral signals is of increasing interest to clinical and computer scientists. Pain is a significant problem facing individuals, families, healthcare providers, and society. Pain typically is measured by patient self-report or clinician impressions, either through clinical interviews or the visual and/or numerical pain rating scales. While useful, self-report of pain cannot be used with young children, patients with certain neurological or psychiatric impairments, or with many patients in postoperative care or transient states of consciousness. The development and success of methods based on Deep Learning in the field of computer vision have made possible significant advances in the field of automatic pain recognition. Most studies have focused on facial detection of pain, while little research has been done on human pose. In this work, we propose to use a two-stream Spatio-temporal convolutional graph network (ST-GCN) with both spatial and temporal attention mechanisms for skeleton-based pain behavior assessment. We have tested our model on UI-PRMD, a benchmark dataset that provides skeleton data using motion capture systems. Our results show that our attention-based based ST-GCN models outperform the state-of-the-art methods on quality score prediction and binary classification.