imagerie plénoptique : de la lumière visible aux rayons X

plenoptic imaging : from visible light to X-rays

• Auteur / Autrice : Charlotte Herzog
• Direction : Xavier Granier, Ombeline de La Rochefoucauld-Rossier
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 24/09/2020
• Etablissement(s) : Bordeaux
• Ecole(s) doctorale(s) : École doctorale de mathématiques et informatique (Talence, Gironde ; 1991-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Photonique, Numérique et Nanosciences (Bordeaux)
• Jury : Président / Présidente : Céline Loscos
• Jury : Examinateurs / Examinatrices : Xavier Granier, Ombeline de La Rochefoucauld-Rossier, David Ros, Daniel Méneveaux
• Jury : Rapporteurs / Rapporteuses : David Ros, Daniel Méneveaux

Mots clés

Mots clés contrôlés

Rayons X

Imagerie tridimensionnelle

Traitement d'images -- Techniques numériques

Mots clés libres

Plénoptique

Champ lumineux

Rayon X

Imagerie 3D

Refocalisation

Plenoptic

Light-Field

X-Rays

3D imaging

Refocusing

Résumé

L’imagerie plénoptique est une technique basée sur l’acquisition des informations spatiales et angulaires des rayons lumineux provenant d’une scène. A partir d’une seule acquisition, un traitement numérique des données permet diverses applications comme la synthèse d’ouverture, le changement de point de vue, la refocalisation à différentes profondeurs, voire une reconstruction en 3D de la scène. L’imagerie plénoptique est beaucoup étudiée dans le visible. La transposition du visible dans le domaine des rayons X est un réel défi. L’imagerie plénoptique permettrait une imagerie 3D en rayons X à partir d’une seule acquisition. Cela aiderait à réduire fortement la dose absorbée par l’échantillon, par rapport à la tomographie qui nécessite une centaine de vues.Dans cette thèse, nous considérons une caméra plénoptique constituée d’une lentille principale, d’une matrice de microlentilles et d’un détecteur. Deux configurations optiques distinctes, constituées de ces trois éléments, sont présentées dans la littérature : la caméra plénoptique « traditionnelle » et celle « focalisée ». La principale différence se trouve dans les distances entre les éléments optiques. L’observation d’une continuité entre ces deux configurations nous a amené à établir un système unique d’équations permettant leur conception optique, ainsi que l’expression théorique des résolutions associées. Ces résolutions ont été validées expérimentalement dans le visible. De plus, l’étude de l’évolution du contraste en fonction de la profondeur a montré que le contraste diminue quand on s’éloigne d’une position privilégiée intrinsèque à la configuration. C’est un résultat important car il pourrait affecter la qualité de l’image reconstruite et l’extraction de la profondeur.Nous avons aussi travaillé sur les algorithmes de refocalisation préexistants, développés indépendamment pour chaque configuration. Nous avons élaboré un nouvel algorithme valide pour les deux configurations. Ce dernier est basé sur les distances physiques entre les éléments optiques, et permet une refocalisation à une distance arbitraire de la caméra. Tout d’abord, nous avons défini une nouvelle paramétrisation entre les espaces objet et image, en établissant la relation matricielle qui régit le trajet d’un rayon lumineux à l’intérieur de la caméra. Cette relation permet de projeter les données acquises par le capteur dans l’espace objet, et ainsi de reconstruire une image pixel par pixel à la profondeur choisie. En inversant les équations, nous avons montré qu’il était possible de créer des images plénoptiques synthétiques. La reconstruction de ces données synthétiques nous a permis de valider la cohérence des résultats après reconstruction, et de quantifier la précision de ce nouvel algorithme.Cet algorithme permet de reconstruire séparément chaque plan de profondeur. Dans chacun d’entre eux, les éléments physiques qui appartiennent réellement à ce plan sont nets, alors que les objets des plans adjacents sont flous. Nous utilisons cette propriété de contraste pour extraire l’information de profondeur dans les images refocalisées. Nous avons sélectionné plusieurs méthodes provenant du domaine de « depth from focus » et avons étudié leurs efficacités sur nos images.Dans le cadre d’une collaboration européenne, nous avons construit la première caméra plénoptique dans les rayons X au synchrotron PETRA III. Grâce au travail réalisé pendant cette thèse, nous avons choisi les configurations optiques les plus adaptées aux optiques disponibles et aux caractéristiques du faisceau. Nous avons réalisé le montage de la caméra, acquis des images plénoptiques en rayons X, refocalisé ces images avec notre algorithme, et vérifié les résolutions optiques. Les méthodes de « depth from focus » appliquées sur les images refocalisées ont permis de retrouver la profondeur attendue. Ce travail correspond aux premières images acquises avec une caméra plénoptique en rayons X.

Plenoptic imaging is a technique that acquires spatial and angular information of the light rays incoming from a scene. After a single acquisition, numerical data treatment allows image manipulation such as synthetic aperture, changing viewpoint, refocusing at different depths, and consequently 3D reconstruction of the scene. Visible plenoptic has been widely studied. However, transposition from visible to X-rays has never been done and remains challenging. X-ray plenoptic would be beneficial to the X-ray imaging panorama. A single acquisition should be sufficient to reconstruct a volume, against 1000’s for X-ray tomography that is the today reference in 3D X-ray imaging.In this thesis, we consider plenoptic camera composed of a main lens, a microlens array and a detector. So far, two different configurations have been developed: the traditional and the focused plenoptic setups. Although these configurations are usually studied separately, they only differ by the distances between the optical elements. These two configurations were studied in detail to choose the most suitable for X-ray imaging, considering the constraints of X-ray optics. We observed a full continuity between the two systems. Therefore, we extended the previous work to more general formulas about optical configuration and theoretical resolutions. Theory about resolution along the depth axis was refined, as depth reconstruction and extraction are the main interest of X-ray plenoptic. Specific study was done on the evolution of contrast along depth as being a key parameter for depth reconstruction. We realized that contrast decreases when moving away from a privileged depth. This is important to consider as it can affect image reconstruction and quality of depth extraction.We also worked on refocusing algorithms. The refocusing algorithms are usually developed for each configuration separately. We worked to go beyond this separation. We developed a new algorithm valid for any configurations. Moreover, our algorithm is based on real distances between the optical elements, allowing generating images at any distances from the plenoptic camera. We defined a new parameterization between object and image spaces. Using geometrical optics, we calculated the matrix transformation between the two spaces. This allows back-projecting data from the acquired raw image to the object space, and reconstructing the pixels one by one, until the whole object. With this algorithm, we were able to simulate the process of image acquisition, and create synthetic plenoptic data. Reconstruction of these data was used to quantify the accuracy of the novel algorithm and prove its consistency.The refocusing algorithm allows reconstructing the depth planes one by one. Each refocused plane contains information about the whole 3D scene that has to be disentangled. The elements physically present at the refocused depth are intrinsically sharp, whereas the ones located at other depths are blurred. We used this contrast property to extract depth from the refocused images. We tested several existing methods derived from the field of depth from focus and studied their efficiency when applied to our images.In collaboration with European teams, we realized the first X-ray plenoptic camera that was tested at P05 beamline of PETRA III synchrotron. Based on the theoretical work developed in this thesis, we defined the best optical configuration, mounted the plenoptic camera, acquired X-ray plenoptic images, numerically refocused them using the new algorithm and verified the experimental resolutions and contrasts. Depth from focus techniques applied on the refocused stack allow to retrieve the expected depth plane. These are the first images acquired with an X-ray plenoptic camera.