Détection et estimation 3D de la pose des personnes dans la salle opératoire à partir d'images RGB-D

3D detection and pose estimation of medical staff in operating rooms using RGB-D images

• Auteur / Autrice : Abdolrahim Kadkhodamohammadi
• Direction : Michel de Mathelin
• Type : Thèse de doctorat
• Discipline(s) : Image et vision
• Date : Soutenance le 01/12/2016
• Etablissement(s) : Strasbourg
• Ecole(s) doctorale(s) : École doctorale Mathématiques, sciences de l'information et de l'ingénieur (Strasbourg ; 1997-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire des sciences de l'ingénieur, de l'informatique et de l'imagerie (Strasbourg ; 2013-....)
• Jury : Président / Présidente : Nicholas Ayache
• Jury : Examinateurs / Examinatrices : Nicolas Padoy
• Jury : Rapporteur / Rapporteuse : Danail Stoyanov, Slobodan Ilic

Mots clés

Mots clés contrôlés

Reconnaissance des formes (informatique)

Infographie

Dispositifs optoélectroniques

Salles d'opération

Informatique

Chirurgie -- Positionnement

Mots clés libres

Imagerie médicale

Salle opératoire

Estimation 3D de la pose

Détection de personnes

Image RVB

Medical computer vision

Pictorial structures

Surgical workflow analysis

3D Body pose estimation

Person detection

Multi-view RGB-D data

Résumé

Dans cette thèse, nous traitons des problèmes de la détection des personnes et de l'estimation de leurs poses dans la Salle Opératoire (SO), deux éléments clés pour le développement d'applications d'assistance chirurgicale. Nous percevons la salle grâce à des caméras RGB-D qui fournissent des informations visuelles complémentaires sur la scène. Ces informations permettent de développer des méthodes mieux adaptées aux difficultés propres aux SO, comme l'encombrement, les surfaces sans texture et les occlusions. Nous présentons des nouvelles approches qui tirent profit des informations temporelles, de profondeur et des vues multiples afin de construire des modèles robustes pour la détection des personnes et de leurs poses. Une évaluation est effectuée sur plusieurs jeux de données complexes enregistrés dans des salles opératoires avec une ou plusieurs caméras. Les résultats obtenus sont très prometteurs et montrent que nos approches surpassent les méthodes de l'état de l'art sur ces données cliniques.

In this thesis, we address the two problems of person detection and pose estimation in Operating Rooms (ORs), which are key ingredients in the development of surgical assistance applications. We perceive the OR using compact RGB-D cameras that can be conveniently integrated in the room. These sensors provide complementary information about the scene, which enables us to develop methods that can cope with numerous challenges present in the OR, e.g. clutter, textureless surfaces and occlusions. We present novel part-based approaches that take advantage of depth, multi-view and temporal information to construct robust human detection and pose estimation models. Evaluation is performed on new single- and multi-view datasets recorded in operating rooms. We demonstrate very promising results and show that our approaches outperform state-of-the-art methods on this challenging data acquired during real surgeries.