Segmentation et recalage d'images avec machine learning pour la compensation du brain shift en neurochirurgie guidée par image

Image segmentation and registration using machine learning for brain shift compensation in image-guided neurosurgery

• Auteur / Autrice : François-Xavier Carton
• Direction : Matthieu Chabanas, Jack Noble
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 13/12/2021
• Etablissement(s) : Université Grenoble Alpes en cotutelle avec Vanderbilt university (Nashville, Tennessee)
• Ecole(s) doctorale(s) : École doctorale Mathématiques, sciences et technologies de l'information, informatique (Grenoble ; 1995-....)
• Partenaire(s) de recherche : Laboratoire : Techniques de l’ingénierie médicale et de la complexité - Informatique, mathématiques et applications (Grenoble, Isère, France)
• Partenaire(s) de recherche : Equipe de recherche : Gestes médico-chirurgicaux assistés par ordinateur (Grenoble)
• Jury : Président / Présidente : Jocelyne Troccaz
• Jury : Examinateurs / Examinatrices : Michel Desvignes
• Jury : Rapporteur / Rapporteuse : Antoine Simon, Marc Modat

Mots clés

Mots clés contrôlés

Neurochirurgie

Recalage d'images

Apprentissage profond

Mots clés libres

Brain-Shift

Neurochirurgie guidée par image

Segmentation d'image

Recalage d'image

Apprentissage profond

Brain-Shift

Image-Guided neurosurgery

Image segmentation

Image registration

Deep learning

Résumé

Dans le cadre des chirurgies d'ablation de tumeurs cérébrales, un examen préopératoire par imagerie par résonance magnétique (IRM) est réalisé pour la planification chirurgicale et le guidage lors de la chirurgie. Le déplacement des tissus cérébraux pendant la chirurgie, appelé communément brain shift, limitent considérablement le guidage par image utilisant l'IRM préopératoire (pMR), celui-ci ne représentant plus la position courante des tissus. Ces limitations peuvent être compensées en recalant le pMR avec des images peropératoires. L'échographie présente plusieurs avantages à d'autres modalités comme l'IRM, notamment sa rapidité d'acquisition, et la non-nécessité de déplacer les patients. L'échographie a donc un réel intérêt en neurochirurgie, malgré la moindre qualité de ces images.Bien que des méthodes traditionnelles de recalage aient été proposées, l'apprentissage profond (AP) fait l'objet de nombreux travaux de recherche car il obtient les meilleurs résultats dans plusieurs domaines comme le traitement d'images médicales, notamment la segmentation et plus récemment, le recalage d'image. Les modèles d'AP sont des modèles complexes dont les paramètres sont appris à partir de données. Cependant, il y a peu d'études sur leur applicabilité à la segmentation d'images échographiques, ou recalage avec un pMR.L'étude porte tout d'abord sur la segmentation des images échographiques peropératoires (iUS) du cerveau. Ces segmentations peuvent notamment servir au recalage d'image, l'objectif principal de cette thèse. Nos travaux portent premièrement sur la segmentation des cavités de la résection, permettant de modéliser précisément le décalage des tissus lié à l'ablation de tissus. Nous proposons ensuite un modèle pour la segmentation des tumeurs, problème plus difficile mais utile non seulement au recalage d'image mais aussi à déterminer si la résection est complète. Les résultats obtenus montrent que l'AP peut être utilisé pour la segmentation d'iUS. Nous avons ensuite entraîné un modèle multi-classes, segmentant directement plusieurs structures. Les résultats suggèrent que ces modèles multi-classes peuvent produire de meilleures segmentations, tenant compte des dépendances entre les classes.Puis nous étudions les modèles de recalage des pMRs avec des iUSs. Ce problème est considérablement plus compliqué que la segmentation d'image, en particulier entre différentes modalités comme l'IRM et l'échographie. Il y a de plus une grande variabilité entre patients, les structures visibles dans le champ de vue limité des iUSs dépendant de la position de la tumeur. Il est aussi difficile de déterminer les vrais déplacements de tissus avec lesquels entraîner des modèles. Bien que n'étant pas parvenus à entraîner un modèle avec les données disponibles, nous analysons les résultats et identifions de potentielles pistes d'améliorations.Les modèles d'AP peuvent segmenter les iUS. Les données sont actuellement insuffisantes pour des modèles de recalage, que plus de données permettraient d'entraîner.

In brain tumor resection surgery, a preoperative magnetic resonance (MR) image is used for surgical planning and guidance. Brain tissue displacement during surgery, known as brain shift, severely limits image guidance with the preoperative MR (pMR), which no longer reflects the location of tissue and anatomical structures accurately. This can be mitigated by registering the pMR with intraoperative data, ie. updating the pMR so that it matches images acquired during surgery. Ultrasound (US) imaging has several benefits compared to other intraoperative imaging modalities such as MR. In particular, it has fast acquisition times and do not require moving the patients, which makes the surgery longer. Thus, there is growing interest in using US imaging in brain surgery, despite the low image quality.While traditional registration methods have been proposed, deep learning (DL) are being actively researched as they have proven successful and achieve state-of-the-art results in many domains such as medical image segmentation, and more recently, image registration. DL models are complex models with parameters learned with data, with many applications. However, there are few studies proposing DL models for segmentation of intraoperative US (iUS) images of the brain, or for registration of the pMR image with iUS images.We start with the segmentation of iUS images of the brain. This is can be used for several purposes, such as guiding a registration model, which is the main objective of this thesis. We first focus on the segmentation of the resection cavity, which is essential to model the tissue displacement due to tissue removal. Next, we address tumor tissue segmentation, which is more challenging but can be used not only for registration but also to determine if tissue resection is complete. The results show that DL models can successfully segment the resection cavity and tumor tissue in US images. Then, we train a multi-class segmentation model, that segments several structures at the same time. The results suggest that multi-class models can be more accurate than single-class models, and leverage inter-class relationships.We then investigate DL models for registration of pMR with iUS images. Image registration is inherently difficult, and especially with different modalities such as MR and US. In addition, there is a high variability across cases, as different structures are visible in the limited US field of view, depending on tumor location. It is also difficult to estimate ground truth displacements for training DL models. While we were not able to train a registration model with the available data, we discuss our findings and possible areas of improvement.DL models can successfully segment iUS images. We currently lack data to train registration models but expect that larger datasets will enable the training of such models.