Développement, optimisation, évaluation d'un système de réalité augmentée en chirurgie laparoscopique

Development, optimization, evaluation of an augmented reality system in laparoscopic surgery

• Auteur / Autrice : Nicolas Bourdel
• Direction : Michel Canis
• Type : Thèse de doctorat
• Discipline(s) : Sciences de la vie et de la sante
• Date : Soutenance le 28/03/2017
• Etablissement(s) : Université Clermont Auvergne‎ (2017-2020)
• Ecole(s) doctorale(s) : École doctorale des sciences de la vie, santé, agronomie, environnement (Clermont-Ferrand)
• Partenaire(s) de recherche : Laboratoire : Institut Pascal (Aubière, Puy-de-Dôme)

Mots clés

Mots clés contrôlés

Laparoscopie

Réalité augmentée

Mots clés libres

Réalité augmentée

Laparoscopie

Chirurgie

Augmented reality

Laparoscopy

Surgery

Résumé

Nous avons développé un système de réalité augmentée (RA) permettant de guider le chirurgien dans son geste opératoire coelioscopique grâce aux données d’imagerie acquises en préopératoire. Ce système permet de voir au travers d’un organe comme si celui ci était semi-transparent. Le chirurgien peut ainsi parfaitement localiser une tumeur dans le parenchyme d’un organe. Il peut ou pourra voir également toutes les données anatomiques et structurelles disponibles en préopératoire sur l’imagerie. Le fonctionnement de notre système se déroule en trois phases. En préopératoire, une acquisition des données d’imagerie (IRM) et la création des modèles 3D associés (surface externe de l’organe, tumeur(s), repères anatomique(s)) sont réalisées. En peropératoire un modèle 3D de l’organe d’intérêt est réalisé, une phase de recalage initial est réalisée, puis le suivi de l’organe est effectué en temps réel. Notre système permet de suivre un organe mobile ce qui n’avait jamais été réalisé auparavant. Pour débuter le développement de notre système, nous avons étudié deux modèles de tumeurs : les myomes utérins et les tumeurs rénales. Pour chaque type de tumeur et d’organe les phases initiales de développement sont identiques: test sur modèle (phase 1), test ex-vivo et faisabilité clinique (phase 2), tests cliniques (phase 3). Nous sommes en phase 3 pour la myomectomie et en phase 2 pour la néphrectomie partielle. Nous avons démontré sur un modèle utérin (utérus imprimé en 3D, myomes virtuels) les avantages de la RA par rapport à une technique standard pour laquelle l’opérateur n’utilise que la lecture de l’IRM. En effet, dans ce modèle, l’utilisation de la RA améliore la localisation des myomes en permettant à l’opérateur de voir littéralement au travers de l’utérus. Après optimisation ex-vivo, nous avons testé notre système en clinique. Nous avons démontré la faisabilité de son utilisation avec une localisation en temps réel des myomes et de la cavité utérine. L’objectif est maintenant la validation de son utilisation en pratique courante. Pour la néphrectomie partielle nous avons développé un modèle de tumeur du rein (reins porcins, tumeurs créées par injection d’alginate). Dans ce modèle l’utilisation de la RA améliore la localisation tumorale en améliorant de façon significative le taux de marges saines péri-tumorales. La phase 2 est en cours de mise en place. Parallèlement l’étude du système pour les tumeurs hépatiques a débuté. Le développement de notre système a été réalisé grâce à une équipe mixte associant scientifiques, ingénieurs, chirurgiens et médecins. Le champ des possibilités offert par la RA est très prometteur car il permettra d’intégrer l’ensemble des données préopératoires à notre vue laparoscopique. Le système devrait pouvoir rapidement être utilisé pour d’autres pathologies en gynécologie mais aussi en urologie et en chirurgie digestive. D’autres technologies comme le deep learning permettront également des évolutions majeures dans l’automatisation du système.

We developed an Augmented reality (AR) system that can guide the surgeon during laparoscopy. Augmented Reality (AR) is a technology that can allow a surgeon to see subsurface structures. This works by overlaying information from another modality, such as MRI and fusing it in real time with the endoscopic images. The surgeon can easily localize tumor in the parenchyma of an organ. He could also easily localize all anatomical and structural landmarks available on the preoperative imaging. Three phases are necessary. Firstly, Preoperative MRI data are used (segmentation) to construct 3D mesh models (external surface of the organ, tumor(s), anatomical landmarks). During the surgery a 3D mesh model of the organ is constructed and an initial registration phase (using a deformable model of the organ) is performed. Then the third phase is a real-time tracking phase. AR has never been developed for a very mobile organ like the uterus and has never been performed for gynecology. Our system works for soft and mobile organs. We used two tumor models: myomas in gynecology and kidney’s tumor for partial nephrectomy. For each type of tumor we used the same step to develop our system. First step: experimental tumor model, second step: ex vivo improvement and first clinical evaluation, third step: clinical evaluation. We are in the third phase for myomectomy and in the second phase for partial nephrectomy. In our uterine model (3D printed uterus), AR improves localization accuracy of the myomas compared to the classical localization method (MRI only). This was the first user study to quantitatively evaluate an AR system for improving a surgical task. After optimizing our system using ex-vivo data, we tested it during laparoscopic myomectomy and demonstrated the feasibility of the real-time tracking and localization of the myomas and of the uterine cavity. For partial nephrectomy we created a kidney’s tumor model (porcine model). Our study shows that AR allows accurate localization of very small tumors and improved the mean accuracy of tumor resection, with higher rate of free margins around the tumor. We are currently developing phase 2. For liver resection the development is in phase 1. Our team is a mix of engineers, scientists, doctors and surgeons. AR is a very promising technique with large applications. It allows displaying all preoperative imaging data on our laparoscopic screen. AR should be used soon for other gynecological, urological and digestive pathologies. Other technologies (including deep learning) should allow major improvement of our system.