Single-pixel imaging : Compressed video acquisition and reconstruction using deep learning
Imagerie mono-pixel : Acquisition comprimée de vidéos et reconstruction par apprentissage profond
Résumé
Single-pixel cameras allow acquisition of two-dimensional images using only a single-point detector. These use hardware to measure the inner product of the scene under view, along with the user-defined functions, and then the image is recovered using reconstruction algorithms. Single-pixel cameras are well suited for imaging problems where it might not be possible to apply traditional arrays of detectors. In particular, single-pixel cameras can be coupled with a spectrometer, to provide hyperspectral cameras. Such single-pixel hyperspectral cameras can be used, for instance, to analyze spectral signatures of certain molecules. The main limitations of single-pixel imaging are the speeds of acquisition and reconstruction, as these are both too slow for real-time imaging applications. The aim of this project was to design reconstruction algorithms and down-sampling strategies to enable high-frequency image acquisition and reconstruction for single-pixel cameras. The study described in this thesis investigated the use of deep-learning algorithms for single-pixel imaging. More precisely, we focused on introducing generalized Tikhonov-regularized solutions within deep-learned reconstructors for experimental data. Secondly, we worked on neural-network architectures that can combine neural networks, and the expectation-maximization algorithm to estimate the maximum a posteriori of our inverse problem. Finally, we investigated time-adaptive down-sampling algorithms based on projected variance estimates over time. To reconstruct a current frame, we combined these temporal down-sampling algorithms with reconstruction approaches that take into account previous reconstructed frames. With respect to classic approaches, our approach demonstrates real-time acquisition and reconstruction times that can provide videos with 10 frames per second. Finally, we demonstrate the applicability of these approaches to experimental data from a single-pixel hyperspectral camera.
La caméra mono-pixel est une caméra qui permet de faire l'acquisition d'images bidimensionnelles à partir d'un capteur ponctuel. Elle mesure au niveau du détecteur le produit scalaire d'image de la scène avec des fonctions définies par l'utilisateur. L'image est alors récupérée par le biais d'algorithmes de reconstruction dédiés. La caméra mono-pixel peut être utilisée dans des problèmes d'imagerie où il serait impossible d'utiliser des méthodes d'imagerie conventionnelle par matrice de capteurs. En particulier, la caméra mono-pixel peut être couplée avec un spectromètre pour en faire une caméra hyperspectrale. De telles caméras mono-pixel permettent notamment de réaliser l'analyse de la signature spectrale de certaines molécules. La principale limitation de l'imagerie mono-pixel sont les temps d'acquisition et de reconstruction, qui sont trop lents pour l'application en temps réel. L'objectif de cette thèse est la réalisation d'algorithmes de reconstruction et de sous-échantillonage pour permettre l'acquisition et reconstruction d'images à hautes fréquences. Dans cette thèse nous avons étudié l'usage d'algorithmes d'apprentissage profond en imagerie mono-pixel. Plus concretement, nous avons introduit l'usage de solutions de régularisation généralisée de Tikhonov dans des reconstructeurs par réseaux de neurones dans le but de les appliquer à des données expérimentales. Dans un deuxième temps, nous avons développé des architectures de réseaux neuronaux qui combinent des réseaux neuronaux avec l'algorithme d'espérance-maximisation afin d'estimer le maximum à posteriori de notre problème inverse. Enfin, nous avons étudié des schémas de sous-échantillonage évoluant au cours du temps selon l'évolution prédite au cours du temps de la variance. Nous avons combiné ce sous-échantillonage avec des schémas de reconstruction prenant en compte les frames reconstruites précédemment pour estimer la frame actuelle. Par rapport aux approches classiques, notre approche permet l'acquisition et la reconstruction en temps réel, avec une cadence de 10 images par seconde. Enfin, nous avons montré l'application des méthodes proposées à des données issues d'une caméra mono-pixel hyperspectrale.
Origine : Version validée par le jury (STAR)