Conception d'un capteur CMOS intégré pour la capture d'image plénoptique et traitement d'images associé

Development of an integrated CMOS sensor for plenoptic image capture and associated image processing

• Auteur / Autrice : Guillaume Chataignier
• Direction : Jérôme Vaillant, Benoît Vandame
• Type : Thèse de doctorat
• Discipline(s) : Physique de la matière condensée et du rayonnement
• Date : Soutenance le 18/11/2021
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale physique (Grenoble ; 1991-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'électronique et de technologie de l'information (Grenoble ; 1967-....)
• Jury : Président / Présidente : Éric Lacot
• Jury : Examinateurs / Examinatrices : Neus Sabater, Christine Guillemot
• Jury : Rapporteurs / Rapporteuses : Guillaume Druart, Andrés Almansa

Mots clés

Mots clés contrôlés

Traitement d'images

Capteurs d'images CMOS

Mots clés libres

Cmos

Capteur

Plenoptique

Quad pixel

Profondeur

Autofocus

Cmos

Sensor

Plenoptic

Quad pixel

Depth

Autofocus

Résumé

Un capteur plénoptique permet de capturer un champ de lumière c'est-à-dire d'échantillonner spatialement et angulairement les rayons lumineux provenant d'une scène, contrairement à un capteur d'image classique qui permet uniquement un échantillonage spatial. Cela offre des possibilités plus poussées en termes de traitement d'images. On peut par exemple refaire la mise au point après la prise de vue, corriger les aberrations de l'objectif, ou calculer une carte de profondeur de manière passive. L'échantillonnage angulaire est produit en plaçant plusieurs sous-pixels sous une même microlentille du capteur. Cette thèse concerne un capteur quad-pixel où une microlentille recouvre un patch de 2x2 sous-pixels. Il s'agit de l'évolution des capteurs "dual-pixels" développés par Canon en 2012, principalement utilisés pour contrôler l'autofocus de leurs appareils photographiques.Elle a pour objectif de tisser des liens entre deux des trois aspects du système d'imagerie, les pixels d'une part, et le traitement de l'images d'autre part. L'optique utilisée pour produire l'image sur le capteur est laissée de coté. Je présente d'abord des simulations au niveau des pixels, principalement en utilisant des sous-pixels de 1.75 microns. A partir du critère de performance défini, je présente des pistes d'amélioration des pixels. En me basant sur ces simulations, j'ai modifié un outil de rendu d'images en lancé de rayons qui permet de prendre en compte la diffraction dans les microlentilles. Je montre que la diffraction due à la microlentille dégrade les performances des algorithmes, je prends pour exemple le cas de la correction des aberrations de l'objectif principal. Cet outil a de plus permis de générer des images puis d'étudier les algorithmes de traitement d'images. Je présente plusieurs pistes d'utilisation d'un quad-pixel à l'aide des techniques d'apprentissage profond et de réseaux de neurones, comme par exemple le dématriçage couleur ou la correction de la diffraction. Enfin, je présente et caractérise un prototype quad-pixel réalisé dans le cadre de cette thèse.

A plenoptic sensor enables the capture of a light field : it spatially and angularly samples the light rays coming from a scene, unlike a conventional image sensor which only allows spatial sampling. This offers more possibilities in terms of image processing. For example, one can refocus the image after its acquisition. It is also possible to correct lens' aberrations, or calculate a depth map in a passive way. The angular sampling is achieved by placing multiple sub-pixels under a single microlens of the sensor. This thesis focuses on the case where a microlens covers a patch of 2x2 sub-pixels, called a quad-pixel. This is the evolution of the so-called dual-pixel developped by Canon in 2012, mainly used to drive the autofocus of their cameras. Its object is to link two of the three aspects of the imaging system, the pixels on the one hand, and the image processing on the other hand. The lens used to produce the image on the sensor is not studied here. First, I present simulations at pixel level, mainly using 1.75 microns subpixels. Given the defined metric performance, I present some solutions in order to improve the performance of the pixels. Based on these simulations, I decided to modify a ray tracing renderer in order to take into account the diffraction in microlenses. It then made it possible to generate synthetic images and thus study the image processing algorithms. I show that microlens diffraction tends to degrades the algorithms' performance by studying the case of aberration correction of the main lens. I also present multiple ways to use a quad-pixel, using deep learning techniques and neural networks, such as debayering or diffraction removal. Finally, I present and characterize a quad-pixel prototype made especially for this thesis.