Mesure par vision de la position d'instruments médicaux flexibles pour la chirurgie endoscopique robotisée

3D Pose estimation of continuously deformable instruments in robotic endoscopic surgery

• Auteur / Autrice : Paolo Cabras
• Direction : Christophe Doignon
• Type : Thèse de doctorat
• Discipline(s) : Automatique, vision et robotique
• Date : Soutenance le 24/02/2016
• Etablissement(s) : Strasbourg
• Ecole(s) doctorale(s) : École doctorale Mathématiques, sciences de l'information et de l'ingénieur (Strasbourg ; 1997-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire des sciences de l'ingénieur, de l'informatique et de l'imagerie (Strasbourg ; 2013-....)
• Jury : Président / Présidente : Alicia Casals
• Jury : Examinateurs / Examinatrices : Michel de Mathelin, Florent Nageotte
• Jury : Rapporteurs / Rapporteuses : Guillaume Morel, Nicolas Andreff

Mots clés

Mots clés contrôlés

Imagerie tridimensionnelle en médecine

Vision artificielle (robotique)

Robotique en médecine

Chirurgie endoscopique

Mots clés libres

Robotique medicale flexible

Estimation de la pose 3D à partir d’une seule image

Extraction des primitives pour instrument flexible in in-vivo

Apprentissage

Medical flexible robotics

Single-Image-Based 3D pose estimation

In-vivo flexible instrument segmentation

Learning regression

Résumé

Connaître la position 3D d’instruments robotisés peut être très utile dans le contexte chirurgical. Nous proposons deux méthodes automatiques pour déduire la pose 3D d’un instrument avec une unique section pliable et équipé avec des marqueurs colorés, en utilisant uniquement les images fournies par la caméra monoculaire incorporée dans l'endoscope. Une méthode basée sur les graphes permet segmenter les marqueurs et leurs coins apparents sont extraits en détectant la transition de couleur le long des courbes de Bézier qui modélisent les points du bord. Ces primitives sont utilisées pour estimer la pose 3D de l'instrument en utilisant un modèle adaptatif qui prend en compte les jeux mécaniques du système. Pour éviter les limites de cette approche dérivants des incertitudes sur le modèle géométrique, la fonction image-position-3D peut être appris selon un ensemble d’entrainement. Deux techniques ont été étudiées et améliorées : réseau des fonctions à base radiale avec noyaux gaussiens et une régression localement pondérée. Les méthodes proposées sont validées sur une cellule expérimentale robotique et sur des séquences in-vivo.

Knowing the 3D position of robotized instruments can be useful in surgical context for e.g. their automatic control or gesture guidance. We propose two methods to infer the 3D pose of a single bending section instrument equipped with colored markers using only the images provided by the monocular camera embedded in the endoscope. A graph-based method is used to segment the markers. Their corners are extracted by detecting color transitions along Bézier curves fitted on edge points. These features are used to estimate the 3D pose of the instrument using an adaptive model that takes into account the mechanical plays of the system. Since this method can be affected by model uncertainties, the image-to-3d function can be learned according to a training set. We opted for two techniques that have been improved : Radial Basis Function Network with Gaussian kernel and Locally Weighted Projection. The proposed methods are validated on a robotic experimental cell and in in-vivo sequences.