Reconstruction et démélange spectral de manière jointe pour l'imagerie médicale

Joint reconstruction and unmixing in medical imaging

• Auteur / Autrice : Séréna Hariga
• Direction : Nicolas Ducros
• Type : Projet de thèse
• Discipline(s) : Traitement du signal et de l'image
• Date : Inscription en doctorat le 01/10/2023
• Etablissement(s) : Lyon, INSA
• Ecole(s) doctorale(s) : EEA - Electronique, Electrotechnique, Automatique de Lyon
• Partenaire(s) de recherche : Laboratoire : CREATIS - Centre de Recherche en Acquisition et Traitement de l'Image pour la Santé

Mots clés

Mots clés libres

Démélange spectral

Problème inverse

Nmf

Single-pixel

Spectral unmixing

Inverse problem

Nmf

Single-pixel

Résumé

L'imagerie spectrale gagne en popularité au sein de la communauté de l'imagerie médicale, en particulier dans le domaine de l'imagerie optique et de l'imagerie à rayons X. Ceci est dû à la capacité des informations spectrales à fournir un aperçu de la composition chimique des échantillons. Les caméras spectrales fonctionnant dans le domaine visible permettent de réaliser des biopsies optiques in vivo, ce qui permet aux chirurgiens de détecter des marqueurs fluorescents à la surface du cerveau, indiquant la présence de cellules cancéreuses. La plupart des modalités d'imagerie médicale nécessitent la reconstruction d'une image à partir d'un ensemble de données incomplètes et bruitées. Il s'agit d'un problème mal posé qui nécessite généralement une connaissance préalable de la solution. La recherche d'un a priori efficace pour une reconstruction précise est généralement un défi. Un enjeu majeur de l'imagerie hyperspectrale est le démélange spectral qui implique l'estimation des spectres des composants d'intérêt (tels que les marqueurs fluorescents) afin d'effectuer une classification douce des pixels de l'image. En imagerie spectrale, les problèmes de reconstruction et de démélange peuvent se poser simultanément. Ce doctorat vise à traiter les deux problèmes conjointement. En effet, les modèles de factorisation de faible rang peuvent être utilisés pour le démélange spectral et devraient constituer un a priori efficace pour la reconstruction d'images. Inversement, le démélange spectral nécessite la résolution d'un problème de reconstruction en premier lieu. La résolution d'un tel modèle conjoint présente des difficultés car le démélange spectral et la reconstruction d'images impliquent tous deux des problèmes multivariés non convexes. Leurs solutions dépendent fortement des informations choisies au préalable et insérées dans les modèles. Pour y remédier, le projet vise à explorer des algorithmes déroulés et plug-and-play permettant de faire le lien entre l'apprentissage et les algorithmes d'optimisation. L'apprentissage profond permettra d'apprendre des a priori efficaces tout en déduisant les paramètres du modèle. Enfin, le projet explorera des stratégies permettant d'utiliser la connaissance partielle des spectres (la connaissance est partielle car le spectre fluorescent dépend de l'environnement local).

Spectral imaging is gaining popularity within the medical imaging community, specifically in the field of optical and X-ray imaging. This is due to the ability of spectral information to provide insight into the chemical composition of samples. Spectral cameras operating in the visible range enable optical biopsy in vivo, allowing surgeons to detect fluorescent markers on the brain surface, indicating the presence of cancerous cells. Most medical imaging modalities require the reconstruction of an image from an incomplete, noisy dataset. This is an ill-posed problem that typically necessitates prior knowledge of the solution. Finding an effective prior for accurate reconstruction is generally challenging. A related problem in spectral imaging is spectral unmixing, which involves estimating the spectra of the components of interest (such as fluorescent markers) to perform a soft classification of pixels in the image. In spectral imaging, both the reconstruction and unmixing problems can occur simultaneously. This Ph.D. aims to address both problems jointly. Indeed low-rank factorization models can be used for spectral unmixing and are anticipated to be an effective prior for image reconstruction. Conversely, spectral unmixing requires solving a reconstruction problem in the first place. Solving such a joint model presents challenges since both spectral unmixing and image reconstruction involve nonconvex multivariate problems. Their solutions depend heavily on the chosen prior information inserted into the models. To address this, the project will explore unrolled and plug-and-play algorithms that bridge the gap between deep learning and handcrafted prior optimization. Deep learning will enable the learning of effective priors while inferring the model's parameters. Lastly, the project will explore strategies to make use of the partial knowledge of spectra (knowledge is partial because the fluorescent spectrum depends on the local environment).