Comanipulation robotique comme interface tangible pour l'assistance à la chirurgie laparoscopique

Robotic Comanipulation as a Tangible Interface for Assistance to Laparoscopic Surgery

• Auteur / Autrice : Mario Arico
• Direction : Guillaume Morel
• Type : Thèse de doctorat
• Discipline(s) : Robotique médicale
• Date : Soutenance le 02/11/2020
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Sciences mécaniques, acoustique, électronique et robotique de Paris
• Partenaire(s) de recherche : Equipe de recherche : Institut des systèmes intelligents et de robotique (Paris ; 2009-....)
• Jury : Président / Présidente : Isabelle Bloch
• Jury : Examinateurs / Examinatrices : Benoît Rosa, Emmanuel Vander Porteen, Elena De Momi
• Jury : Rapporteurs / Rapporteuses : Sandrine Voros, Adrien Bartoli

Mots clés

Mots clés contrôlés

Coelioscopie

Robotique en médecine

Chirurgie mini-invasive

Mots clés libres

Chirurgie mini-invasive

Assistance robotique

Suivi d’un outil chirurgical

Calibration d’endoscope

Interaction tangible

Pointeur chirurgical

Minimally-invasive surgery

Robotic assistance

System calibration and tracking

Résumé

L’objectif de cette thèse est de développer une plateforme robotique pour l’assistance à la cœlioscopie. Nous focalisons l’attention sur l’utilisation de l’outil chirurgical comme une interface tangible : l’outil devient un pointeur 3D pour la manipulation d’objets virtuels insérés dans la scène chirurgicale et affichés sur les images endoscopiques (i.e., un plan virtuel pour délimiter une zone). Pour cela, nous étudions la précision du système de navigation pour l’estimation de la pose de la caméra (pour le retour visuel) et de l’outil (pour le retour haptique). Tout d’abord, nous proposons une méthode de calibration des paramètres extrinsèques de la caméra grâce à plusieurs vues d’un objet sphérique. Cette approche, que l’on appelle Perspective-n-Spheres, améliore localement la précision par rapport aux méthodes existantes. Ensuite, nous améliorons le suivi de la pointe de l’outil grâce à une approche hybride, qui compare deux sources indépendantes de suivi (par images et par capteur optique externe), et utilisons cette redondance pour optimiser localement l’estimation de la position. Enfin, nous implémentons et testons deux outils d’assistance chirurgicale : un laser virtuel et une pince virtuelle. Le laser virtuel aide à l’exécution des tâches de pointage en affichant en temps réel la position de la pointe projetée sur la surface contentant les cibles. Ce laser facilite l’orientation correcte de l’outil dès son insertion, même si ce dernier n’est pas visible sur les images. La pince virtuelle permet le contrôle automatique de l’endoscope en manipulant directement l’outil : la caméra suit la pointe et la maintient dans une position constante dans l’image.

The objective of this thesis is the development of a robotic assistant for Minimally Invasive Surgery. In particular, we explore the use of the surgical instrument as a tangible interface, whereby the physical tool becomes a 3D Surgical Pointer to manipulate artificial virtual contents (e.g., virtual planes to delimit safe zones) populating the surgical scene and overlaid on the endoscopic images. To enable the use of the instrument as a tangible interface, we study the tracking accuracy of the surgical system to recover the camera pose (for visual feedback), and the instrument pose (for haptic feedback). First, we propose a calibration method to estimate the extrinsic camera parameters from multiple poses of the spherical object. This approach, called Perspective-n-Spheres, improves the local reconstruction accuracy compared to the existing calibration methods. Second, we propose to improve the tracking accuracy of the instrument end-effector thanks to a hybrid tracker, which compares two independent tracking sources (images and external optical tracker) and uses this redundancy to locally optimize the position estimate. Third, we develop and test two examples of tool-driven guidance tools: the virtual laser and the virtual grasper. The virtual laser facilitates reaching tasks by overlaying on the images the position of the tool tip projection of the target surface. This visual aid helps the user to correctly orient the tool even when it is not visible on the images. The virtual grasper enables the automatic control of the endoscope motion by manipulating the tool: the endoscope follows the tool tip to maintain its position constant in the image frame.