Localisation et cartographie simultanées par vision monoculaire pour la réalité médicale augmentée

Visual monocular SLAM for minimally invasive surgery and its application to augmented reality

• Auteur / Autrice : Nader Mahmoud Elshahat Elsayed Ali
• Direction : Christophe Doignon, José Maria Martinez Montiel
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 19/06/2018
• Etablissement(s) : Strasbourg en cotutelle avec Universidad de Zaragoza (Espagne)
• Ecole(s) doctorale(s) : École doctorale Mathématiques, sciences de l'information et de l'ingénieur (Strasbourg ; 1997-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire des sciences de l'ingénieur, de l'informatique et de l'imagerie (Strasbourg ; 2013-....)
• Jury : Président / Présidente : Marie-Odile Berger
• Jury : Rapporteurs / Rapporteuses : Danail Stoyanov, Guillaume Morel

Mots clés

Mots clés contrôlés

Robotique en médecine

Coelioscopie

Réalité virtuelle en médecine

Emploi en diagnostic

Réalité augmentée

Mots clés libres

Suivi de caméra

Reconstruction 3D

Robotique

Laparoscopie

Endoscopie

Réalité Augmentée / Virtuelle

Camera tracking

3D reconstruction

Robotics

Laparoscopy

Endoscopy

Augmented/Virtual Reality

Résumé

La création d'informations 3D denses à partir d'images endoscopiques intraopératoires, ainsi que le calcul de la position relative de la caméra endoscopique, sont des éléments fondamentaux pour un guidage de qualité durant la chirurgie guidée par l'image. Par exemple, cela permet de superposer modèle pré-opératoire via la réalité augmentée. Cette thèse présente une approche pour l'estimation de ces deux information basées sur une approche de localisation et cartographie simultanées (SLAM). Nous découplons la reconstruction dense de l'estimation de la trajectoire de la caméra, aboutissant à un système qui combine la précision du SLAM, et une reconstruction plus complète. Les solutions proposées dans cette thèse ont été validées sur de séquences porcines provenant de différents ensembles de données. Ces solutions n'ont pas besoin de matériel de suivi externe ni d'intervention. Les seules entrées nécessaires sont les trames vidéo d'un endoscope monoculaire.

Recovering dense 3D information from intra-operative endoscopic images together with the relative endoscope camera pose are fundamental blocks for accurate guidance and navigation in image-guided surgery. They have several important applications, e.g., augmented reality overlay of pre-operative models. This thesis provides a systematic approach for estimating these two pieces of information based on a pure vision Simultaneous Localization And Mapping (SLAM). We decouple the dense reconstruction from the camera trajectory estimation, resulting in a system that combines the accuracy and robustness of feature-based SLAM with the more complete reconstruction of direct SLAM methods. The proposed solutions in this thesis have been validated on real porcine sequences from different datasets and proved to be fast and do not need any external tracking hardware nor significant intervention from medical staff. The sole input is video frames of a standard monocular endoscope.