Estimation de la posture humaine par capteur RGB-D

Human posture estimation with an RGB-D sensor

• Auteur / Autrice : Lucas Marti
• Direction : Frédéric Lerasle, André Monin
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 12/10/2015
• Etablissement(s) : Toulouse 3
• Ecole(s) doctorale(s) : École doctorale Systèmes (Toulouse ; 1999-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'Analyse et d'Architecture des Systèmes (Toulouse ; 1968-....)

Mots clés

Mots clés contrôlés

Capteurs (technologie)

Posture

Mots clés libres

Posture humaine

Estimation

Soustraction de fond

RGB-D

Random forests

Filtre bayésien

Posture Estimation

Background Subtraction

RGB-D

Random Forests

Bayesian Filter

Résumé

Dans le contexte du vieillissement de la population, le problème de la chute est un problème de santé publique. L'utilisation de la technologie est un axe important pour la prise en compte des enjeux liés à la chute. Nous voulons développer un système complet de détection et d'estimation de la chute à destination des maison de retraites et des particuliers dans un but d'amélioration de la prise en charge médicale et de limitation des conséquences de la chute. La solution de détection à l'aide d'un capteur ambiant déporté nous a semblé être la solution la plus adaptée. Les capteurs RGB-D (couleurs + profondeur) développés récemment sont un atout pour cela car ils sont peu chers, très commun et performants.La première partie de la thèse traite du problème de segmentation de la silhouette de la personne dans la scène observée. Nous présentons un algorithme qui fourni, grâce à une utilisation conjointe des images de couleurs et de profondeur, les silhouettes des différents personnes dans la pièce dans laquelle est situé le capteur. L'algorithme est robuste au changement de configuration de la pièce et notamment au déplacement d'objets. L'utilisation de caractéristiques propres à la profondeur nous permet d'atteindre des niveaux de performances suffisant pour une utilisation industrielle. Dans la seconde partie de la thèse nous abordons le problème de l'estimation de la posture humaine. Une fois les silhouettes segmentées grâce à l'algorithme de la première partie, nous voulons avoir les positions des articulations de la personne. Nous incrémentons sur les algorithmes déjà existants utilisant l'apprentissage et notamment les algorithmes des randoms forests en investiguant de nouvelles idées pour augmenter les performances. Nous déterminons les valeurs optimales de certains paramètres qui ne sont pas explorés dans les travaux précedents. Nous présentons un nouveau type de caractéristique à calculer sur les images de profondeur. Nous examinons enfin l'impact de l'équilibrage de la collection d'apprentissage dans notre contexte. L'algorithme fourni alors un ensemble de prédiction pour chaque articulation.Dans la troisième partie, nous traitons le problème du filtrage spatio-temporel des poses. Nous présentons différentes approches et nous intéressons à l'ambiguïté droite/gauche des membres et cherchons à traiter ce problème. Les approches utilisées se fonde sur le filtrage bayesien.

In a world with an increasingly aging population, elderly people falling are a public health issue. The use of technology is a major development axis for fall management. We want to design a complete system for detection and estimation of falls. The target market for this system is medicalized retirement homes and individual homes. We want to improve the medical care of people after the fall in order to lower its consequences. A solution based on an ambient sensor seems to be the most adapted solution. Recent development in RGB-D (Color+Depth) sensing are a great asset thanks to their relatively low cost, wide availability and good performances. The first part of the thesis deals with the problem of segmenting people for the surrounding scene in our images. We present an algorithm that gives, thanks to use simultaneous use of color and depth, the silhouettes of each person in the room in which the sensor is installed. The algorithm is robust to the change of configuration of the room and especially to moving furniture. We use special consideration of depth to reach a performance level sufficient for an industrial application. The second part of the thesis deals with the estimation of the human posture. Once the silhouettes have been segmented with the algorithm of the first part, we want to get an estimation of every articulation of the person. We build on existing algorithms that use machine learning and in particular Random Forest by investigating new ideas to improve performances. We found optimal values for some parameters that were not previously investigated. We present a new feature to be computed on depth images. Finally we evaluate the impact of balancing the training database in our context. The algorithm provides a set of predictions for the position of every articulation. In the third part, we are interested in spatio-temporal filtering of the postures. We present different approaches and in particular we deal with the issue of left/right ambiguity that arises in the algorithm of the previous part. The approaches are based on Bayesian filtering.