Mise en place d’une solution de réalité augmentée pour le guidage du geste en chirurgie robotisée à partir d’échographies : application à la chirurgie transorale et la chirurgie laparoscopicque gastro-intestinale

Framework for ultrasonography-based augmented reality in robotic surgery : application to transoral surgery and gastrointestinal surgery

• Auteur / Autrice : Jun Shen
• Direction : Jean-Louis Dillenseger, Philippe Poignet
• Type : Thèse de doctorat
• Discipline(s) : Signal, image, vision
• Date : Soutenance le 11/12/2019
• Etablissement(s) : Rennes 1
• Ecole(s) doctorale(s) : École doctorale Mathématiques et sciences et technologies de l'information et de la communication (Rennes)
• Partenaire(s) de recherche : ComuE : Université Bretagne Loire (2016-2019)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Traitement du Signal et de l'Image (1969-.... ; Rennes)

Mots clés

Mots clés contrôlés

Robotique en médecine

Échographie per-opératoire

Réalité augmentée

Mots clés libres

Réalité augmentée

Échographie

Calibration de sondes d’échographie

Guide de résection tumorale

Chirurgie robotique

Augmented reality

Ultrasonography

Ultrasound probe calibration

Tumor resection guidance

Robotic surgery

Résumé

Cette thèse porte sur le développement d’une solution de réalité augmentée dans le cadre de la chirurgie robotisée et plus particulièrement pour la chirurgie transorale des tumeurs de la base de langue et la chirurgie laparoscopique des cancers du bas rectum. Une des problématiques pour les chirurgiens est de repérer sur la vue endoscopique les limites de la tumeur et les marges de résections. Celles-ci sont en effet non visibles directement. L’échographie peropératoire est largement utilisée pour repérer les tumeurs lors des interventions. Nous proposons donc une solution de réalité augmentée dans laquelle l’information extraite de l’échographie est reprojetée sur la vision binoculaire de la station de chirurgie robotisée afin de guider le chirurgien dans la résection de la tumeur. Plusieurs verrous de cette chaîne de traitement ont été repérés et étudiés. Nous avons ainsi proposé une nouvelle méthode pour la calibration de sondes d’échographie. Nous avons démontré que cette méthode était plus facile à mettre en œuvre, plus rapide et plus précise que les méthodes proposées dans la littérature. Cette sonde calibrée, associée à des outils de localisation et de calibration de la sonde endoscopique nous a permis de proposer une solution de réalité augmentée qui permettait de reprojeter l’information acquise sur l’image sur la vue endoscopique avec des erreurs inférieures à 1 mm. Nous avons alors établi la preuve de concept de l’application de cette chaîne de réalité augmentée dans deux expérimentations, l’une sur un fantôme physique en silicone du rectum et l’autre sur une langue de mouton en ex-vivo. Les résultats expérimentaux ont montré que l’information augmentée avait permis au chirurgien de percevoir avec précision les marges de résections des tumeurs simulées et d’accomplir le geste opératoire à l’aide de cette perception.

The medical context of this thesis is transoral robotic surgery for base of tongue cancer and robot-assisted laparoscopic surgery for low-rectal cancer. One of the main challenges for surgeons to perform these two surgical procedures is to identify the tumor resection margins accurately, because tumors are often concealed in base of tongues or rectal walls and there is lack of efficient intraoperative guidance systems. However, ultrasonography is widely used to image soft-tissue tumors, which motivates our proposition of an augmented reality framework based on intraoperative ultrasonography images for tumor resection guidance. The framework, proposed, with clinical partners, consists to adapt to the surgical workflow of robot-assisted surgery for treating base of tongue cancer and low-rectal cancer. For this purpose, we developed a fast and accurate 3D ultrasound probe calibration method to track the probe and facilitate its intraoperative use. Moreover, we evaluated the performance of the proposed framework augmenting an intraoperative endoscopic camera with ultrasound information, which shows less than 1mm error. Furthermore, we designed experimental protocols using a silicone rectum phantom and an ex-vivo lamb tongue, that simulate the integration of the implemented framework into the current surgical workflow. The experimental results show that, according to the augmented endoscopic views provided by the proposed framework, a surgeon is able to accurately identify the resection margins of the simulated tumors in these phantoms.