Apprentissage et optimisation pour la super-résolution 3D en microscopie de fluorescence

Learning and optimization for 3D super-resolution in fluorescence microscopy

• Auteur / Autrice : Vasiliki Stergiopoulou
• Direction : Laure Blanc-Féraud
• Type : Thèse de doctorat
• Discipline(s) : Automatique et traitement du signal et des images
• Date : Soutenance le 30/01/2023
• Etablissement(s) : Université Côte d'Azur
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Nice ; 1992-....)
• Partenaire(s) de recherche : Laboratoire : Institut national de recherche en informatique et en automatique (France). Unité de recherche (Sophia Antipolis, Alpes-Maritimes) - Laboratoire Informatique, signaux et systèmes (Sophia Antipolis, Alpes-Maritimes)
• Jury : Président / Présidente : Vicente Zarzoso
• Jury : Examinateurs / Examinatrices : Laure Blanc-Féraud, Vicente Zarzoso, Arrate Muñoz Barrutia, Sébastien Bourguignon, Luca Calatroni, Sébastien Schaub, Daniel Sage, Luca Zanni
• Jury : Rapporteur / Rapporteuse : Arrate Muñoz Barrutia, Sébastien Bourguignon

Mots clés

Mots clés contrôlés

Réseaux neuronaux (informatique)

Problèmes inverses

Représentation parcimonieuse

Optimisation mathématique

Microscopie à super-résolution

Microscopie de fluorescence

Mots clés libres

Microscopie de fluorescence

Optimisation parcimonieuse

Super-résolution

Problèmes inverses régularisés

Réseaux neuronaux

Régularisation non convexe

Fluorescence microscopy

Sparse optimization

Super-resolution

Regularized inverse problems

Neural networks

Non-convexe regularization

Résumé

L'objectif de cette thèse est de développer de nouvelles méthodes de reconstruction algorithmique pour la super-résolution en microscopie de fluorescence. La résolution spatiale des images d'échantillons vivants obtenues par les microscopes à fluorescence est physiquement limitée en raison de la diffraction de la lumière visible, ce qui rend difficile l'étude d'entités de taille inférieure à la barrière de diffraction qui est d'environ 200 nm dans le plan latéral et 500 nm dans la direction axiale. Par rapport aux autres techniques de super-résolution, celles que nous proposons ne nécessitent pas de fluorophores spéciaux, de prototypes complexes, de fixation de l'échantillon et de longs temps d'acquisition, ce qui permet l'imagerie de cellules vivantes à l'aide d'un équipement standard et peu nocif pour l'échantillon.Notre première contribution est la méthode COL0RME (COvariance-based l0 super-Resolution Microscopy with intensity Estimation) qui reconstruit dans un cadre variationnel une image super-résolue latéralement à partir d'une courte pile temporelle. Dans cette méthode, nous exploitons le non corrélation entre les émetteurs distincts ainsi que la distribution parcimonieuse des molécules fluorescentes par l'utilisation d'un terme de régularisation favorisant la parcimonie définie sur la matrice de covariance des émetteurs. L'existence du terme de régularisation produit une fonction non-différentielle convexe ou non-convexe que nous minimisons en utilisant un schéma itératif de gradient proximal. Comme extension de COL0RME, nous remplaçons l'opérateur proximal par un débruiteur d'images (un réseau de neurones pré-entraîné), suivant le cadre de reconstruction Plug-and-Play (PnP).Nous avons ensuite proposé deux approches hybrides non supervisées qui combinent la modélisation physique des acquisitions temporelles en microscopie de fluorescence avec des approches génératives pour le problème de la déconvolution des images. Pour la première approche, nous utilisons des Generative Adversarial Networks (GANs) et pour la seconde des Variational Auto-Encoders (VAEs).Enfin, nous présentons une méthode de super-résolution 3D pour améliorer la résolution latérale et axiale d'une fine couche adjacente à la lamelle de verre dans des applications d'imagerie par microscopie à réflexion interne totale (Total Internal Reflection Fluorescence (TIRF) en anglais). Nous combinons la méthode COL0RME qui effectue la super-résolution dans le plan latéral avec une procédure de reconstruction 3D dans la direction axiale en utilisant le TIRF multi-angle (MA-TIRF).

The objective of this thesis is to develop new algorithmic reconstruction methods for super-resolution in fluorescence microscopy. The spatial resolution of images of live samples obtained by fluorescence microscopes is physically limited due to the diffraction of visible light, making it difficult to study entities of size smaller than the diffraction barrier that is around 200 nm in the lateral plane and 500 nm in the axial direction. In comparison to other state-of-the-art super-resolution techniques, the ones we are proposing do not require special fluorophores, complex prototypes, sample fixation and long acquisition times, allowing live cell imaging using standard equipment with little damage to the sampleOur first contribution is the method COL0RME (COvariance-based l0 super-Resolution Microscopy with intensity Estimation) that reconstructs in a variational framework a laterally super-resolved image given a short temporal stack of frames. In this method, we exploit the non-correlation property between distinct emitters as well as the sparse distribution of the fluorescent molecules via the use of a sparsity-promoting regularization term defined on the emitters' covariance matrix. The existence of the regularization term results to a non-differential convex or non-convex function that we minimize using a proximal gradient-based iterative schema. As an extension of COL0RME, we replace the proximity operator with an image denoiser (i.e. a pretrained network), following the Plug-and-Play (PnP) reconstruction framework.We then proposed two unsupervised hybrid approaches that combine the physical modelling of fluorescence microscopy time-lapse acquisitions with generative approaches for the problem of image deconvolution. For the first approach we are using Generative Adversarial Networks (GANs) while for the second Variational Auto-Encoders (VAEs).Finally, we present a 3D super-resolution approach to improve both lateral and axial resolution of a thin layer adjacent to the coverslip in Total Internal Reflection Fluorescence (TIRF) microscopy imaging applications. We combine the method COL0RME that performs super-resolution in the lateral plane with a 3D reconstruction procedure in the axial direction using Multi-Angle TIRF (MA-TIRF).