Méthodes variationnelles pour les problèmes de données à grande échelle en imagerie

Variational methods for large-scale data problems in imaging

• Auteur / Autrice : Ségolène Martin
• Direction : Jean-Christophe Pesquet, Ismail Ben Ayed
• Type : Projet de thèse
• Discipline(s) : Informatique mathématique
• Date : Soutenance en 2024
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : [CVN] Centre de la Vision Numérique
• Partenaire(s) de recherche : Référent : CentraleSupélec (2015-....)
• Partenaire(s) de recherche : graduate school : Université Paris-Saclay. Graduate School Sciences de l’ingénierie et des systèmes (2020-….)
• Jury : Président / Présidente : François Malgouyres
• Jury : Examinateurs / Examinatrices : Nelly Pustelnik, Aleksandra Pizurica, Gabriele Steidl, Nicolas Thome
• Jury : Rapporteur / Rapporteuse : Nelly Pustelnik, Aleksandra Pizurica

Mots clés

Mots clés libres

Optimisation grande-echelle

Problèmes inverses

Restauration d'image

Classification few-shot

Apprentissage transductif

Algorithmes de majoration-minimisation

Large-scale optimisation

Inverse problems

Image restoration

Few-shot classification

Transductive inference

Majorization-minimization algorithms

Résumé

Cette thèse explore l'utilisation de méthodes variationnelles pour aborder les problèmes d'imagerie de grande échelle, tant en termes de dimensionnalité qu'en nombre de données. Elle met un accent particulier sur les problèmes inverses en restauration d'image et la classification en régime dit ''few-shot'', i.e., avec peu de données labellisées. Le fil conducteur entre les sujets abordés est le développement de méthodes et d'algorithmes à la fois performants, fiables, interprétables et efficaces via des outils d'optimisation avancés. Dans la première partie de la thèse, nous nous intéressons à la résolution de problèmes inverses de restauration d'image à partir d'une unique observation dégradée de grande taille. Un algorithme innovant de Majoration-Minimisation locale par sous-espace, couplé avec une méthode de pénalisation, est introduit pour l'optimisation lisse et sous contrainte. Des garanties théoriques de convergence sont données et l'efficacité, en terme de temps de convergence, est démontrée sur plusieurs exemples applicatifs. Toujours sur la thématique de la restauration, une étude applicative complète est conduite dans le cadre d'images tridimensionnelles obtenues par microscopie multiphoton, allant de l'estimation de l'opérateur de flou (Point Spread Function ou PSF) jusqu'à la déconvolution. Pour l'étape d'estimation de la PSF, nous proposons un nouveau modèle de calibration basé sur des billes de large diamètre, ainsi qu'un algorithme proximal alterné. Pour la phase de restauration, nous adoptons une formulation contrainte sans paramètre de régularisation, en supposant un bruit gaussien hétéroscédastique. La seconde partie de la thèse s'intéresse à la classification faiblement supervisée d'images en utilisant des modèles neuronaux pré-entraînés sur d'autres bases de données. Une attention particulière est accordée au scénario transductif, où les prédictions sont effectuées sur un ensemble de données non labellisées plutôt qu'individuellement. L'approche présentée dans cette thèse aborde le problème de la classification ''few-shot'' en présence d'un déséquilibre de classe dans les données, en mettant en œuvre un critère pénalisé et en effectuant la minimisation par un algorithme alterné efficace. Dans le prolongement de ce travail, nous explorons la classification ''zero-shot'' et ''few-shot'' en utilisant des modèles vision-langage qui combinent des représentations visuelles et textuelles, tels que CLIP. Nous présentons la première approche transductive dans ce domaine en utilisant les vecteurs de probabilités fournis par CLIP comme entrées de notre classifieur. Ceci conduit à un problème original de minimisation sur un simplexe. Nous démontrons que des gains de performance significatifs peuvent être obtenus dans le scénario transductif.

This thesis is dedicated to exploring the use of variational methods for addressing large-scale imaging problems, both in terms of data dimensionality and quantity. It focuses on inverse problems in image restoration and classification within the so-called few-shot regime, i.e., with a limited number of labeled data. The common goal across the addressed topics is the design of methods and algorithms that are efficient, reliable, interpretable, and effective, utilizing advanced optimization tools. In the first part of the thesis, we are interested in solving inverse image restoration problems starting from a single, large, degraded observation. An innovative local Majorization-Minimization subspace algorithm, coupled with a penalization method, is introduced for smooth and constrained optimization. Theoretical convergence guarantees are provided, and the efficiency, in terms of convergence time, is demonstrated across several applicative examples. In the continuation of this work on restoration, a detailed applicative study is conducted in the context of three-dimensional images obtained by multiphoton microscopy, ranging from the estimation of the Point Spread Function (PSF) operator to deconvolution. For the PSF estimation step, we propose a new calibration model based on large diameter beads, along with an alternating proximal algorithm. For the restoration phase, we adopt a constrained formulation with no regularization parameter, assuming heteroscedastic Gaussian noise. The second part of the thesis investigates weakly supervised image classification using neural models pre-trained on other databases. Particular attention is paid to the transductive scenario, where predictions are made on a set of unlabeled data rather than individually. In this context, the first problem tackled in this thesis is few-shot classification in the presence of class imbalance in the data. A novel penalized criterion is proposed and an effective alternating algorithm is developed to minimize this criterion. In a further study, we explore zero-shot and few-shot classification using vision-language models that combine visual and textual representations, like CLIP. We present the first transductive approach in this area using probability vectors provided by CLIP as inputs to our classifier. This leads to a an original minimization problem on a simplex. We demonstrate significant performance gains that can be achieved in the transductive scenario.