Nouvelles approches de restauration d'images inspirées des concepts de la mécanique quantique

Novel Prospects of Image Restoration Inspired by Concepts of Quantum Mechanics

• Auteur / Autrice : Sayantan Dutta
• Direction : Adrian Basarab, Denis Kouamé
• Type : Thèse de doctorat
• Discipline(s) : Informatique et Télécommunications
• Date : Soutenance le 09/01/2023
• Etablissement(s) : Toulouse 3
• Ecole(s) doctorale(s) : École doctorale Mathématiques, informatique et télécommunications (Toulouse)
• Partenaire(s) de recherche : Laboratoire : Institut de Recherche en Informatique de Toulouse (1995-....) - Laboratoire de Physique Théorique (Toulouse ; 2003-....)
• Jury : Président / Présidente : Jean-Philippe Thiran
• Jury : Rapporteurs / Rapporteuses : Stephen McLaughlin, Pierre Borgnat

Mots clés

Mots clés contrôlés

Réseaux neuronaux graphiques

Imagerie médicale -- Qualité de l'image

Théorie quantique

Mots clés libres

Mécanique quantique

Traitement d'image quantique

Imagerie médicale

Réseaux de neurones convolutionnels

Transformation adaptative

Interaction quantique à plusieurs corps

Quantum mechanics

Quantum image processing

Medical imaging

Convolutional neural networks

Adaptive transformation

Quantum many-body interaction

Résumé

La décomposition d'images numériques en d'autres bases ou dictionnaires que les domaines temporel ou spatial est une approche très courante et efficace dans le traitement et l'analyse d'images. Une telle décomposition est couramment obtenue à l'aide de transformations fixes ou de dictionnaires appris à partir de bases de données d'exemple ou à partir du signal ou de l'image eux-mêmes. Ces dernières années, avec la croissance de la puissance de calcul, les stratégies exploitant la redondance des patchs extraits d'une ou de plusieurs images pour faciliter leur décomposition parcimonieuse sont devenues très populaire, notamment grâce à leur efficacité à restaurer des images. Un des objectifs de cette thèse est de savoir comment concevoir une telle transformation adaptative à l’aide de principes de la mécanique quantique. Cette thèse explore de nouvelles approches de construction de telles bases dépendantes de l'image inspirées de la mécanique quantique. Tout d'abord, nous construisons une base dépendante de l'image en utilisant les solutions d'onde de l'équation de Schrödinger. En particulier, en considérant l'image comme un potentiel dans l'équation de Schrödinger discrétisée, nous obtenons les solutions d'onde qui constitue une base et qui joue le rôle de transformée. L'efficacité de la décomposition proposée est illustrée par des résultats de débruitage dans le cas des bruits Gaussiens, de Poisson et de speckle et par comparaison aux algorithmes de l'état de l'art. Cette décomposition adaptative est ensuite généralisée en s’inspirant de la théorie quantique à plusieurs corps. Sur la base de l'analyse par patchs, les mesures de similarité dans un voisinage d'image local sont formalisées par un terme apparenté à l'interaction en mécanique quantique qui peut efficacement préserver les structures locales des images. La nature polyvalente de cette base adaptative étend la portée de son application à des scénarios de bruit indépendants ou dépendants de l'image sans aucun ajustement. Nous effectuons une comparaison rigoureuse avec les méthodes existantes pour démontrer la capacité de débruitage de l'algorithme proposé, quelles que soient les caractéristiques de l'image, les statistiques de bruit et l'intensité. Nous montrons la capacité de nos approches à traiter des données médicales réelles telles que le débruitage d'images de tomodensitométrie dentaire clinique et les applications de despeckling d'images d'échographie médicale. Nous étendons encore notre travail aux tâches de déconvolution d'image et de super-résolution en exploitant nos algorithmes de debruitage adaptatifs quantiques proposés. En particulier, suite à des développements récents, nous imposons ces débruiteurs externes comme fonction préalable au sein des approches de type Plug-and-Play et Régularisation par Débruitage. Enfin, nous présentons une architecture de réseau neuronal profond dépliant notre proposition d'algorithme de débruitage adaptatif, reposant sur la théorie de la physique quantique à plusieurs corps. Les ingrédients clés de la méthode proposée sont d'une part, sa capacité à gérer des structures d'image non locales à travers le terme d'interaction patch et l'opérateur Hamiltonien quantique, et, d'autre part, sa flexibilité pour adapter les hyperparamètres aux caractéristiques de chaque patch. De plus, il est démontré qu'avec de très légères modifications, ce réseau peut être amélioré pour résoudre des tâches de restauration d'image plus difficiles telles que le défloutage d'image, la super-résolution et l'inpainting. Malgré une architecture compacte et interprétable (d'un point de vue physique), le réseau d'apprentissage profond proposé améliore plusieurs algorithmes de référence récents de la littérature, conçus spécifiquement pour chaque tâche. Enfin, nous abordons le problème de l'amélioration des image échocardiographiques clinique pour démontrer le potentiel de notre réseau profond dans des applications médicales réelles.

Decomposition of digital images into other basis or dictionaries than time or space domains is a very common and effective approach in image processing and analysis. Such a decomposition is commonly obtained using fixed transformations (e.g., Fourier or wavelet) or dictionaries learned from example databases or from the signal or image itself. In recent years, with the growth of computing power, data-driven strategies exploiting the redundancy within patches extracted from one or several images to increase sparsity have become more prominent. They have demonstrated very promising image restoration results. The question to pursue in this thesis is how to design such an adaptive transformation based on principles of quantum mechanics. In this thesis, we explore new possibilities of constructing such image-dependent bases inspired by quantum mechanics. First, we construct an image-dependent basis using the wave solutions of the Schrödinger equation, in particular, by considering the image as a potential in the discretized Schrödinger equation. The efficiency of the proposed decomposition is illustrated through denoising results in the case of Gaussian, Poisson, and speckle noises and compared to the state-of-the-art algorithms. We further generalize our proposed adaptive basis by exploiting the data-driven strategy inspired by quantum many-body theory. Based on patch analysis, the similarity measures in a local image neighborhood are formalized through a term akin to interaction in quantum mechanics that can efficiently preserve the local structures of real images. The versatile nature of this adaptive basis extends the scope of its application to image-independent or image-dependent noise scenarios without any adjustment. We carry out a rigorous comparison with contemporary methods to demonstrate the denoising capability of the proposed algorithm regardless of the image characteristics, noise statistics and intensity. We show the ability of our approaches to deal with real-medical data such as clinical dental computed tomography image denoising and medical ultrasound image despeckling applications. We further extend our work to image deconvolution and super-resolution tasks exploiting our proposed quantum adaptive denoisers. In particular, following recent developments, we impose these external denoisers as a prior functions within the Plug-and-Play and Regularization by Denoising approaches. Lastly, we present a deep neural network architecture unfolding our proposed baseline adaptive denoising algorithm, relying on the theory of quantum many-body physics. The key ingredients of the proposed method are on one hand, its ability to handle non-local image structures through the patch-interaction term and the quantum-based Hamiltonian operator, and, on the other hand, its flexibility to adapt the hyperparameters patch wisely, due to the training process. Furthermore, it is shown that with very slight modifications, this network can be enhanced to solve more challenging image restoration tasks such as image deblurring, super-resolution and inpainting. Despite a compact and interpretable (from a physical perspective) architecture, the proposed deep learning network outperforms several recent benchmark algorithms from the literature, designed specifically for each task. Finally, we address the problem of clinical cardiac ultrasound image enhancement to demonstrate the potential of our proposed deep unfolded network in real-world medical applications.