AI-enabled IVUS-guided augmented reality for liver surgery

Réalité augmentée et intelligence artificielle pour une chirurgie hépatique guidée par échographie intravascularie

• Auteur / Autrice : Sidaty El Hadramy
• Direction : Stéphane Cotin, Nicolas Padoy
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 02/12/2024
• Etablissement(s) : Strasbourg
• Ecole(s) doctorale(s) : École doctorale Mathématiques, sciences de l'information et de l'ingénieur (Strasbourg ; 1997-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire des sciences de l'ingénieur, de l'informatique et de l'imagerie (Strasbourg ; 2013-....)
• Jury : Président / Présidente : Caroline Essert
• Jury : Examinateurs / Examinatrices : Ole Jacob Elle
• Jury : Rapporteurs / Rapporteuses : Hervé Delingette, Yohan Payan
• DOI : 10.70675/4f39b582zde14z401bzb5e5zd93977d5505e

Mots clés

Mots clés contrôlés

Chirurgie assistée par ordinateur

Réalité augmentée

Intelligence artificielle en médecine

Mots clés libres

Intelligence Artificielle

Réalité Augmentée

Chirurgie Hépatique

Artificial Intelligence

Augmented Reality

Liver Surgery

Résumé

Cette thèse présente un nouveau système de réalité augmentée (RA) guidé par l'échographie intravasculaire (IVUS) destiné à améliorer la précision des interventions chirurgicales hépatiques mini-invasives. Bien que l'IVUS offre des avantages pour l'imagerie peropératoire, aucune méthode antérieure n’a intégré ces données en temps réel dans le guidage chirurgical des procédures hépatiques. La méthode proposée vise à aligner les données IVUS peropératoires avec les images CT préopératoires, offrant ainsi aux chirurgiens une vue anatomiquement précise des structures hépatiques, adaptée à la déformation de l'organe durant l'intervention. Pour la mise en place de ce système, nous adoptons une approche de recalage non-rigide basée sur les caractéristiques anatomiques, combinant un modèle biomécanique avec des modèles d'intelligence artificielle (IA). Cette combinaison permet d'assurer à la fois la précision et le fonctionnement en temps réel. Les contributions majeures comprennent le développement du SOniCS, intègrant FEniCS et SOFA pour une modélisation précise des tissus mous, ainsi qu'une méthode alimentée par l'IA permettant de reconstruire des volumes IVUS 3D sans systèmes de suivi externes, simplifiant ainsi la configuration chirurgicale. La contribution principale est la méthode de recalage spécifique au patient et fonctionnant en temps réel, permettant un alignement continu des données IVUS avec les modèles préopératoires et une adaptation aux caractéristiques individuelles des patients. Le travail présenté dans cette thèse constitue une avancée significative dans le domaine de la chirurgie hépatique assistée par ordinateur, offrant un système pratique pour assister les interventions chirurgicales hépatiques mini-invasives.

This thesis presents a novel augmented reality (AR) system guided by intravascular ultrasound (IVUS) to enhance the precision of minimally invasive liver surgeries. While IVUS provides advantages for intraoperative imaging, no previous method has integrated this real-time data into the surgical guidance of liver procedures. The proposed method aims to align intraoperative IVUS data with preoperative CT images, providing surgeons with an anatomically accurate view of liver structures that adapt to the deformation of the organ during the intervention. We adopt a non-rigid registration approach based on anatomical features to implement this system, which combines a biomechanical model with artificial intelligence (AI) models. This combination allows for both accuracy and real-time. Major contributions include the development of SOniCS, a framework that integrates FEniCS and SOFA for accurate soft tissue simulation, and an AI-driven method for reconstructing 3D IVUS volumes without external tracking systems, thus simplifying the surgical setup. The primary contribution of this thesis is developing a patient-specific, real-time registration method that allows for continuous alignment of IVUS data with preoperative models and adaptation to patient-specific characteristics. The work presented in this thesis represents an advancement in computer-assisted liver surgery, providing a practical system to assist minimally invasive liver interventions.