Etalonnage de caméra plénoptique et estimation de profondeur à partir des données brutes

Plenoptic camera calibration and depth estimation from raw images

• Auteur / Autrice : Charles-Antoine Noury
• Direction : Michel Dhome
• Type : Thèse de doctorat
• Discipline(s) : Vision pour la Robotique
• Date : Soutenance le 07/11/2019
• Etablissement(s) : Université Clermont Auvergne‎ (2017-2020)
• Ecole(s) doctorale(s) : École doctorale des sciences pour l'ingénieur (Clermont-Ferrand)
• Partenaire(s) de recherche : Laboratoire : Institut Pascal (Aubière, Puy-de-Dôme)
• Jury : Président / Présidente : El Mustapha Mouaddib
• Jury : Examinateurs / Examinatrices : Céline Teulière, Christine Guillemot
• Jury : Rapporteurs / Rapporteuses : Pascal Vasseur, Christophe Cudel

Mots clés

Mots clés contrôlés

Caméras

Vision artificielle (robotique)

Mots clés libres

Caméra plénoptique

Étalonnage

Cartes de profondeur denses

Plenoptic camera

Calibration

Dense depth maps

Résumé

Alors qu’une caméra standard enregistre deux dimensions d’un champ lumineux, une caméra plénoptique est conçue pour capturer localement quatre de ses dimensions. La richesse des données issues de ce capteur ouvre alors la porte à de nombreuses applications : il est possible, par post-traitement, de synthétiser des images prises de différents points de vue virtuels, de faire une mise au point dans différents plans de la scène, ou encore de calculer des cartes de profondeur d’une scène à partir d’une seule acquisition et ainsi obtenir des reconstructions 3D de l’environnement. La capture passive d’une information de profondeur via un système optique compact rend également ce capteur attractif pour des applications en robotique. Cependant, l’estimation de profondeur à partir d’un tel capteur nécessite son étalonnage précis. Cette caméra est composée d’un nombre conséquent d’éléments, dont une matrice de micro-lentilles placée devant le capteur, et les données brutes sont complexes. Ainsi la plupart des travaux de l’état de l’art consistent à étalonner des modèles de projection simplifiés en exploitant des données interprétées, telles que des images synthétisées et les cartes de profondeur associées. Au cours de nos premiers travaux réalisés en collaboration avec le laboratoire TUM, nous alors avons proposé une méthode d’étalonnage à partir d’une mire 3D en exploitant des données interprétées. Nous avons par la suite proposé une nouvelle approche d’étalonnage basée sur les données brutes du capteur. Nous avons formalisé un modèle proche des caractéristiques physiques de la caméra et proposé une minimisation exprimée directement dans l’espace des données du capteur. Enfin, nous avons proposé une nouvelle méthode d’estimation de profondeur à échelle métrique utilisant le modèle de projection de la caméra. Cette approche directe utilise une minimisation de l’erreur entre le contenu de chaque micro-image et la reprojection de la texture des micro-images qui l’entourent. Les performances de nos algorithmes ont été évaluées à la fois sur un simulateur développé dans le cadre de cette thèse et sur des scènes réelles. Nous avons montré que l’étalonnage est robuste aux mauvaises initialisations du modèle et la précision des estimations de profondeur concurrence celle de l’état de l’art.

Unlike a standard camera that records two dimensions of a light field, a plenoptic camera is designed to locally capture four of its dimensions. The richness of data from this sensor can be use for many applications : it is possible to post-process new points of view, to refocus on different scene’s planes, or to compute depth maps of a scene from a single acquisition and thus obtain 3D reconstructions of the environment. This passive sensor allows the capture of depth using a compact optical system, which makes it attractive for robotics applications. However, depth estimations from such a sensor requires its precise calibration. This camera is composed of a substantial number of elements, including a micro-lens array placed in front of the sensor, and its raw data is complex. Most of the state-of-the-art calibration approaches then consist in formulating simplified projection models and exploiting interpreted data such as synthesized images and associated depth maps. Hence, in our first contribution, carried out in collaboration with the TUM laboratory, we proposed a calibration method from a 3D test pattern using interpreted data. Then we proposed a new calibration approach based on raw data. We formalized a physical-based model of the camera and proposed a minimization expressed directly in the sensor data space to estimate its parameters. Finally, we proposed a new metric scaled depth estimation method using the camera projection model. This direct approach uses an error minimization between each micro-image content and the texture reprojection of the micro-images that surround it. Our algorithms performance was evaluated both on a simulator developed during this thesis and on real scenes. We have shown that the calibration is robust to bad model initialization and the depth estimation accuracy competes with the state-of-the-art.