Reconstruction 3D par stéréophotométrie pour la vision omnidirectionnelle

3D-reconstruction using photometric stereo for omnidirectional vision

• Auteur / Autrice : Jordan Caracotte
• Direction : El Mustapha Mouaddib, Fabio Morbidi
• Type : Thèse de doctorat
• Discipline(s) : Sciences pour l'Ingénieur. Vision par ordinateur
• Date : Soutenance le 06/07/2021
• Etablissement(s) : Amiens
• Ecole(s) doctorale(s) : École doctorale Sciences, technologie et santé (Amiens)
• Partenaire(s) de recherche : Laboratoire : Modélisation, Information et Systèmes (Amiens ; 2008-....)
• Jury : Président / Présidente : Samia Bouchafa
• Jury : Examinateurs / Examinatrices : Yvain Quéau
• Jury : Rapporteur / Rapporteuse : Peter Sturm, Jean-Denis Durou

Mots clés

Mots clés contrôlés

Vision par ordinateur

Mots clés libres

Stéréophotométrie

Reconstruction 3d

Vision omnidirectionnelle

Estimation de normales

Photometric stereo

3d reconstruction

Computer vision

Omnidirectional vision

Normal estimation

Résumé

Cette thèse s'intéresse à la reconstruction 3D par stéréophotométrie et à la vision omnidirectionnelle. La stéréophotométrie repose sur l'exploitation de plusieurs photographies d'une scène, capturées sous différents éclairages par un même appareil immobile. La vision omnidirectionnelle rassemble les capteurs ainsi que les assemblages de caméras qui permettent de faire l'acquisition en une image d'une très grande portion de l'environnement autour de l'appareil. En s'appuyant sur quatre décennies de travaux en stéréophotométrie et en utilisant le modèle unifié pour la projection centrale, nous tentons de réunir ces deux domaines de recherche. Dans un premier temps, nous nous intéressons aux techniques pour l'estimation des normales à la surface ainsi qu'à l'intégration des gradients de profondeur, dans le but de retrouver la géométrie de la scène étudiée. Nous poursuivons en introduisant une nouvelle équation de l'irradiance ainsi qu'une chaîne de traitements modulaire, toutes deux adaptées aux capteurs à projection centrale. Le fonctionnement de la méthode est vérifié en utilisant une caméra perspective et un capteur catadioptrique. Nous détaillons ensuite une extension de la méthode afin de permettre de réaliser des reconstructions 3D à partir d'images issues de caméras twin-fisheye. Finalement, nous nous intéresserons aux limites de l'approche proposée ainsi qu'aux pistes d'amélioration envisagées

This thesis focuses on the photometric stereo problem and the omnidirectional vision. The photometric stereo problem is a 3D-reconstruction technique which requires several pictures of a surface under different lighting conditions from a single point of view. The omnidirectional vision encompasses the devices and the rig of cameras that capture a large part of the environment around them in a single image. Following four decades of research in the photometric stereo literature and using the unified model for central projection cameras, we try to merge these research fields. We first focus on techniques for estimating the normals to the surface, and for integrating the depth gradients to retrieve the shape. Then, we introduce a new spherical irradiance equation that we use to solve the photometric stereo problem using two central projection cameras. The approach is validated using synthetic and real images from a perspective camera and a catadioptric imaging device. We later extends the approach to perform 3d-reconstruction by photometric stereo using twin-fisheye cameras. Finally, we study some limitations of the approch and we discuss the ways to overcome these limits