Faisabilité de la cartographie 3D d'organes creux à l'aide d'images 2D endoscopiques

On the 3D hollow organ cartography using 2D endoscopic images

• Auteur / Autrice : Tan Binh Phan
• Direction : Christian Daul, Didier Wolf
• Type : Thèse de doctorat
• Discipline(s) : Automatique, Traitement du signal et des images, Génie informatique
• Date : Soutenance le 12/11/2020
• Etablissement(s) : Université de Lorraine
• Ecole(s) doctorale(s) : École doctorale IAEM Lorraine - Informatique, Automatique, Électronique - Électrotechnique, Mathématiques de Lorraine (1992-....)
• Partenaire(s) de recherche : Laboratoire : Centre de recherche en automatique (Nancy)
• Jury : Président / Présidente : Marie-Odile Berger
• Jury : Examinateurs / Examinatrices : Christian Daul, Didier Wolf, Franck Marzani, Mireille Garreau, Ernest Hirsch, Dominique Lamarque
• Jury : Rapporteurs / Rapporteuses : Franck Marzani, Mireille Garreau

Mots clés

Mots clés contrôlés

Dermatologie

Endoscopie

Recalage 2D/3D

Imagerie tridimensionnelle en médecine

Traitement d'images -- Techniques numériques

Mots clés libres

Structure from motion

Flot optique dense

Mosaïquage 3D

Endoscopie

Dermatologie

Structure from motion

Dense optical flow

3D image mosaicing

Endoscopy

Dermatology

Résumé

Les algorithmes de « Structure from motion » (SfM, structure reconstituée à l’aide du mouvement) représentent un moyen efficace de construction de surfaces 3D étendues à partir des images d'une scène acquise sous différents points de vue. Ces algorithmes déterminent simultanément le mouvement de la caméra et un nuage de points 3D se trouvant à la surface des objets à reconstruire. Les algorithmes SfM classiques utilisent des méthodes de détection et de mise en correspondance de points caractéristiques pour poursuivre les points homologues à travers les séquences d'images, chaque ensemble de points homologues correspondant à un point 3D à reconstruire. Les algorithmes SfM exploitent les correspondances entre des points homologues pour trouver la structure 3D de la scène et les poses successives de la caméra dans un repère monde arbitraire. Il existe différents algorithmes SfM de référence qui peuvent reconstruire efficacement différents types de scènes lorsque les images comportent suffisamment de textures ou de structures. Cependant, la plupart des solutions existantes ne sont pas appropriées, ou du moins pas optimales, lorsque les séquences d'images contiennent peu de textures. Cette thèse propose deux solutions de type SfM basées sur un flot optique dense pour reconstruire des scènes complexes à partir d’une séquence d’images avec peu de textures et acquises sous des conditions d'éclairage changeantes. Il est notamment montré comment un flot optique précis peut être utilisé de manière optimale grâce à une stratégie de sélection d'images qui maximise le nombre et la taille des groupes de points homologues tout en minimisant les erreurs de localisation des points homologues. La précision des méthodes de cartographie 3D est évaluée sur des fantômes avec des dimensions connues. L’intérêt et la robustesse des méthodes sont démontrés sur des scènes médicales complexes en utilisant un jeu de valeurs constantes pour les paramètres des algorithmes. Les solutions proposées ont permis de reconstruire des organes observés dans différents examens (surface épithéliale de la paroi interne de l'estomac, surface épithéliale interne de la vessie et surface de la peau en dermatologie) et dans diverses modalités (lumière blanche pour tous les examens, lumière vert-bleu en gastroscopie et fluorescence en cystoscopie).

Structure from motion (SfM) algorithms represent an efficient means to construct extended 3D surfaces using images of a scene acquired from different viewpoints. SfM methods simultaneously determine the camera motion and a 3D point cloud lying on the surfaces to be recovered. Classical SfM algorithms use feature point detection and matching methods to track homologous points across the image sequences, each point track corresponding to a 3D point to be reconstructed. The SfM algorithms exploit the correspondences between homologous points to recover the 3D scene structure and the successive camera poses in an arbitrary world coordinate system. There exist different state-of-the-art SfM algorithms which can efficiently reconstruct different types of scenes, under the condition that the images include enough textures or structures. However, most of the existing solutions are inappropriate, or at least not optimal, when the sequences of images are without or only with few textures. This thesis proposes two dense optical flow (DOF)-based SfM solutions to reconstruct complex scenes using images with few textures and acquired under changing illumination conditions. It is notably shown how accurate DOF fields can be optimally used due to an image selection strategy which both maximizes the number and size of homologous point sets, and minimizes the errors in the homologous point localization. The accuracy of the proposed 3D cartography methods is assessed on phantoms with known dimensions. The robustness and the interest of the proposed methods are demonstrated on various complex medical scenes using a constant algorithm parameter set. The proposed solutions reconstructed organs seen in different medical examinations (epithelial surface of the inner stomach wall, inner epithelial bladder surface, and the skin surface in dermatology) and various imaging modalities (white light for all examinations, green-blue light in gastroscopy and fluorescence in cystoscopy).