Recalage multi-modal et temporel non supervisé des réseaux vasculaires 2D et 3D par des méthodes hybrides mêlant des fondements variationnels et physiques, des approches graphes et des algorithmes de deep learning.

Unsupervised 2D and 3D multi-modal and temporal registration of vascular networks via hybrid methods combining variational and physical principles, graph-based approaches and deep-learning models.

• Auteur / Autrice : Benjamin Chivet
• Direction : Antoine Vacavant
• Type : Projet de thèse
• Discipline(s) : Image, système de perception, robotique
• Date : Inscription en doctorat le 01/10/2023
• Etablissement(s) : Université Clermont Auvergne (2021-...)
• Ecole(s) doctorale(s) : Sciences pour l'Ingénieur
• Partenaire(s) de recherche : Laboratoire : Institut Pascal (Aubière, Puy-de-Dôme)
• Partenaire(s) de recherche : Equipe de recherche : TGI - Thérapies Guidées par l'Image

Mots clés

Mots clés libres

Recalage d'image

Deep learning

Réseaux vasculaires

Image registration

Deep learning

Vascular networks

Résumé

Le recalage d'images vise à apparier deux ou plusieurs images en termes d'intensités lumineuses si les modalités sont identiques (mono-modal) ou en termes de formes géométriques pour des images de différentes modalités (multi-modal) via une transformation géométrique physiquement réalisable. Il s'agit d'une étape essentielle en traitement d'images médicales, en particulier lorsque des informations complémentaires se trouvent sur plusieurs images telles que des images acquises à des temps différents, ou depuis différents angles de vue, ou encore par différents appareils, pour ne citer que quelques exemples. Cette technique présente ainsi un fort impact clinique avec de très nombreuses applications telles que le tracking (suivi) de forme (organe, tumeur, etc.) ; la fusion des données anatomiques (CT / scanner, IRM) avec des images fonctionnelles (fMRI, PET, SPECT) aussi appelée fusion multi-modale pour faciliter les interventions et la planification des traitements ; le diagnostic aidé par ordinateur et le suivi de pathologies comme les tumeurs ; etc. Dans le cadre de cette thèse, nous nous focaliserons sur le recalage multimodal CT/IRM intra-patient de structures fines telles que les réseaux vasculaires facilitant le diagnostic de pathologies cardiovasculaires et pouvant conduire à la création d'atlas après une étude statistique inter-patients. Une autre application consiste en un suivi longitudinal intra-patient mono-modal et multi-modal des réseaux vasculaires. Une étude de la variabilité inter-patient de ces trajectoires permettra de faciliter la prédiction clinique d'évolution des pathologies cardio-vasculaires. La fine épaisseur, le faible contraste ainsi que la complexité et la variabilité inter-patient de telles structures rendent cette tâche difficile et étroitement liée à la problématique de reconstruction automatique du réseau vasculaire. L'objectif de cette thèse sera donc de concilier les méthodes variationnelles proposant des modèles de déformation conformes à la physique (c'est-à-dire préservant l'orientation et la topologie des éléments), les structures de graphe pour une extraction et une reconstruction efficace du réseau vasculaire et les algorithmes de deep learning pour extraire les caractéristiques pertinentes facilitant l'appariement des structures fines afin de proposer des modèles hybrides et conjoints de recalage multimodal et de reconstruction vasculaire non supervisés. En effet, aucune vérité terrain pour les déformations n'existe. Deux applications sont privilégiées dans ce projet : le réseau vasculaire rétinien 2D avec l'utilisation des bases de données publiques STARE et DRIVE, ainsi que le réseau vasculaire hépatique 3D avec l'emploi des bases des données issues du projet ANR- R-Vessel-X.

Image registration aims at matching two or more images in terms of intensity if the images are of the same modality (mono-modal) and/or salient components if the images are acquired through different mechanisms (multi-modal) via a physically feasible geometric transformation. It is therefore a cornerstone step for medical image analysis especially when complementary information is found in different images such as images acquired at different times, with different angles or by different mechanisms, to cite only a few examples. This task thus shows a great clinical impact with many applications such as shape tracking (organs, tumors, etc.); fusion of anatomical information (CT, MRI) with functional one (fMRI, PET, SPECT) which is called multi-modal fusion to facilitate intervention and treatment planning; computer-aided diagnosis and disease follow-up such as tumors; etc. In this PhD, we will focus on multi-modal intra-patient CT/MRI registration of thin structures such as vascular networks simplifying the diagnosis and follow-up of cardiovascular pathologies and potentially leading to the creation of atlas after an inter-patient statistical study. Another application consists in a longitudinal / temporal analysis of a patient in both mono and multi-modal settings. A statistical study of inter-patient temporal trajectory variability will make the prediction of the clinical cardio-vascular pathologies evolution easier. The thinness, low contrast, complexity and inter-patient variability of such structures make this task difficult and closely related to the problem of automatic reconstruction of the vascular network. The objective of this PhD will therefore be to combine the variational methods including deformation models that are physically consistent that is orientation and topology preserving, graph structures for efficient extraction and reconstruction of the vascular network and deep learning models to extract relevant features facilitating the matching of fine structures in order to propose hybrid and joint unsupervised models for multimodal registration and vascular reconstruction. Indeed, no ground truth exists for deformations. Two applications are considered in this project: the 2D retinal vascular network with the use of the public databases STARE and DRIVE, as well as the hepatic vascular network (3D) with the use of the databases resulting from the ANR- R-Vessel-X project.