Contributions au recalage pour la réalité augmentée en coelioscopie de l'utérus : détection de contours sémantiques et mise à jour topologique du modèle virtuel à partir d'images peropératoires

Contributions to the registration for augmented reality in laparoscopy of the uterus : Semantic edge detection and topological update of the virtual model from intraoperative images

• Auteur / Autrice : Tom François
• Direction : Adrien Bartoli
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 10/12/2021
• Etablissement(s) : Université Clermont Auvergne (2021-...)
• Ecole(s) doctorale(s) : École doctorale des sciences pour l'ingénieur (Clermont-Ferrand)
• Partenaire(s) de recherche : Laboratoire : Institut Pascal (Aubière, Puy-de-Dôme)
• Jury : Examinateurs / Examinatrices : Lilian Calvet, Damien Saboul, Éric Marchand
• Jury : Rapporteurs / Rapporteuses : Sylvie, Julie Chambon, Fabrice Mériaudeau

Mots clés

Mots clés contrôlés

Vision par ordinateur en médecine

Apprentissage profond

Réalité augmentée

Mots clés libres

Réalité augmentée

Recalage

Détection de contours

Cœlioscopie

Utérus

Incision

Apprentissage profond

Vision par ordinateur

Augmented reality

Registration

Edge detection

Laparoscopy

Uterus

Incision

Deep learning

Computer vision

Résumé

La réalité augmentée (RA) consiste à superposer des éléments virtuels à une image, de manière à créer l'illusion que ces éléments coexistent dans la scène réelle. La cœlioscopie est une technique de chirurgie minimalement invasive qui permet de réaliser des interventions chirurgicales via de petites incisions permettant le passage d'outils et d'une caméra. C'est une technique particulièrement utilisée en gynécologie car elle apporte des avantages conséquents, limitant le traumatisme pour la patiente. En revanche, ce type d'intervention est plus complexe pour le/la chirurgien(ne), qui perçoit mal la profondeur et dont les gestes sont contraints par les incisions. Utiliser la RA pour assister le geste chirurgical en cœlioscopie est donc particulièrement pertinent. Cette motivation a donné lieu au développement dans l'équipe EnCoV d'une première solution appelée Uteraug, qui réalise le recalage entre les données préopératoires et le flux vidéo cœlioscopique. Concrètement, avec cet outil, la RA crée un effet de transparence virtuelle de l'organe pour permettre au chirurgien de visualiser les tumeurs à extraire, par exemple dans le cadre de myomectomies. Cette solution a néanmoins plusieurs contraintes qui rendent son utilisation limitée. D'une part, les étapes préliminaires de mise en place de la RA sont chronophages car elles nécessitent des annotations manuelles à réaliser directement en salle d'opération. D'autre part, cette solution limite la RA à la phase préparatoire de l'opération. En effet, une fois que l'organe est incisé, le système de recalage ne fonctionne plus. Nos travaux ont visé à répondre à ces différentes limites. Dans un premier temps, nous nous sommes intéressés à la mise en place de la RA, une étape préliminaire qui nécessite l'annotation des contours occultants de l'utérus. Les contours occultants sont les contours visibles de la silhouette d'un objet. Ils sont ici utilisés pour contraindre le recalage non rigide entre les donnéespréopératoires et peropératoires. Nous avons étudié la mise en place d'une stratégie pour extraire ces contours de manière automatique grâce à un réseau de neurones profond. Nous avons également proposé un nouveau score pour comparer deux contours échantillonnés sur une image. Nous avons réalisé une étude sur dix opérations pour lesquelles les données ont été enregistrées pour simuler l'utilisation du logiciel après l'opération. Nous avons montré que l'annotation automatique proposée permet d'obtenir une précision très proche de celle obtenue avec une annotation manuelle tout en réduisant considérablement le temps nécessaire pour obtenir la RA. Dans un second temps, nous avons proposé une séquence d'étapes pour détecter l'incision de l'utérus dans le flux vidéo et mettre à jour le modèle virtuel peropératoire, permettant ainsi de maintenir la RA au cours de l'opération. Nous avons testé cette séquence d'étapes sur des données ex-vivo et in-vivo et réussit à maintenir la RA de manière cohérente avec l'incision. L'implémentation actuelle de cette séquence d'étapes ne permet pas un usage en temps réel.

Augmented reality (AR) consists in superimposing virtual elements on an image in order to create the illusion that these elements coexist with the real scene. Laparoscopy is a minimally invasive surgical technique that allows surgical interventions to be performed through small incisions that allow the passage of tools and a camera. It is a technique particularly used in gynecology because it brings significant advantages, limiting the trauma for the patient. However, this type of surgery is more complex for the surgeon, who has poor depth perception and whose movements are constrained by the entry points. Using AR to assist the surgical gesture in laparoscopy is therefore particularly relevant. This motivation led to the development of a first solution called Uteraug in the EnCoV team, which performs the registration between the preoperative data and the laparoscopic video stream. In concrete terms, with this tool, AR creates a virtual transparency effect of the organ to allow the surgeon to visualize the tumors to be extracted, for example in the context of myomectomies. However, this solution has several constraints that limit its use. On the one hand, the preliminary steps of setting up the AR are time consuming because they require manual annotations to be made directly in the operating room. On the other hand, this solution limits AR to the preparatory phase of the operation. Indeed, once the organ is incised, the registration system does not work anymore. Our work aimed at addressing these different limitations. Firstly, we focused on the AR setup, a preliminary step that requires the annotation of the occluding contours of the uterus. The occluding contours are the visible contours of the silhouette of an object. They are used here to constrain the non-rigid registration between the preoperative and intraoperative data. We have studied the implementation of a strategy to extract these contours automatically using a deep neural network. We also proposed a new score to compare two image contours. We performed a study on ten surgeries for which the data were recorded to simulate the use of the software after the surgery. We have shown that the proposed automatic annotation allows the system to obtain an accuracy very close to the one obtained with a manual annotation while reducing considerably the time needed to obtain the AR. In a second step, we proposed a pipeline to detect the incision of the uterus in the video stream and update the intraoperative virtual model, thus allowing to maintain the AR during the operation. We tested this pipeline on ex-vivo and in-vivo data and managed to maintain AR consistency with the incision. The current implementation of this pipeline does not run in real-time.