Stéréophotométrie non-calibrée de surfaces non-Lambertiennes. Application à la reconstruction de surface de colonies microbiennes

Uncalibrated non-Lambertian photometric stereo. Application to microbial colonies surface reconstruction.

• Auteur / Autrice : Khrystyna Kyrgyzova
• Direction : Michaël Aupetit
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 22/07/2014
• Etablissement(s) : Paris 11
• Ecole(s) doctorale(s) : Ecole doctorale Informatique de Paris-Sud
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'intégration des systèmes et des technologies (Gif-sur-Yvette, Essonne ; 2001-....)
• Jury : Président / Présidente : Anne Vilnat
• Jury : Examinateurs / Examinatrices : Michaël Aupetit, Anne Vilnat, Gilles Gesquière, Adrien Bartoli, Lorène Allano, Olivier Aubreton, Guillaume Perrin
• Jury : Rapporteur / Rapporteuse : Gilles Gesquière, Adrien Bartoli

Mots clés

Mots clés contrôlés

Imagerie tridimensionnelle en biologie

Imagerie en biologie

Traitement d'images

Mots clés libres

Stéréophotométrie

Modèles de réflexion non-Lambertiens

Suppression de spécularités

Optimisation alternée sous contraintes

Photometric stereo surface reconstruction

Non-Lambertian reflectance models

Specularity removal

Alternating constrained optimization

Résumé

La thèse est dédiée au problème de la stéréophotométrie non-Lambertienne sans connaissance a priori sur les conditions d’illumination et son application aux images de boîte de Pétri. Pour obtenir une bonne reconstruction de surfaces non-Lambertiennes, il est proposé de traiter une séquence d’entrée en deux étapes: premièrement il faut supprimer les effets spéculaires et obtenir ainsi des images de surface ’pseudo-Lambertienne’. Ensuite dans une deuxième étape à partir de ces images une reconstruction stéréophotométrique Lambertienne sans aucune information préalable sur les directions d’illumination est effectuée. Dans ce travail nous proposons deux méthodes originales respectivement pour la suppression de spécularités et la reconstruction de surface sans information a priori. Les méthodes proposées sont appliquées pour la caractérisation des colonies microbiennes.La spécularités est un effet optique lié à la nature physique complexe des objets. Il est utile pour la perception humaine des objets 3D mais il gêne le processus de traitement automatique d’images. Pour pouvoir appliquer le modèle Lambertien à la stéréophotométrie, les spécularités doivent être supprimées des images d’entrée. Nous proposons donc une méthode originale pour la correction des zones spéculaires adaptée pour une reconstruction ultérieure. L’algorithme proposé est capable de détecter les spécularités comme des valeurs anormalement élevées d’intensité dans une image de la séquence d’entrée, et de les corriger en utilisant les informations des autres images de la séquence et une fonction de correction continue. Cette méthode permet de faire la suppression des spécularités en préservant toutes les autres particularités de distribution de lumière qui sont importantes pour la reconstruction de surface.Après nous proposons une technique de reconstruction stéréophotométrique de surface Lambertienne sans connaissance a priori sur l’illumination. Le modèle mis en œuvre consiste en quatre composantes, deux composantes (albédo et normales) permettent de d´écrire des propriétés de surface et deux autres (intensités des sources de lumière et leurs directions) décrivent illumination. L’algorithme proposé de reconstruction utilise le principe de l’optimisation alternée. Chaque composante du modèle est trouvée itérativement en fixant toutes les variables sauf une et en appliquant des contraintes de structures, valeurs et qualité pour la fonction d’optimisation. Un schéma original de résolution permet de séparer les différents types d’information inclus dans les images d’entrée. Grâce à cette factorisation de matrices, la reconstruction de surface est faite sans connaissance préalable sur les directions de lumière et les propriétés de l’objet reconstruit. L’applicabilité de l’algorithme est prouvée pour des donnés artificielles et des images de bases publiques pour lesquelles la vérité terrain sur les surfaces des objets est disponible.La dernière partie de la thèse est dédiée à l’application de la chaine complète proposée pour le traitement d’images de boîte de Pétri. Ces images sont obtenues en utilisant les sources de lumières complexes qui sont supposées être inconnues pour le processus de reconstruction. L’évaluation de surfaces de colonies microbiennes s’est révélée être une étape importante pour l'analyse visuelle et automatique des colonies. La chaine proposée est efficace pour ce type de données et permet de compléter les informations d'images par de la surface 3D.

The PhD thesis work is dedicated to the problem of uncalibrated non-Lambertian photometric stereo surface reconstruction. The proposed approach consists in two phases: first we correct images of the input sequence from specularities in order to obtain images of pseudo-Lambertian surfaces, and then realize Lambertian photometric stereo reconstruction. In this work we proposed two original methods, respectively, for specularity correction and surface reconstruction with no prior information neither on light sources nor on surface properties. We apply the novel processing to Petri dish images for microbial colonies surface reconstruction.Specularity is an optical effect of a complex physical nature. This effect is useful for human 3D objects perception but it affects automated image processing. In order to be able to apply the Lambertian photometric stereo model, specularities should be removed from the input images. We propose an original method for specular zones correction adapted to estimation of pseudo-Lambertian surface images and further reconstruction. This algorithm is able to detect specularities as abnormally elevated pixel intensity values in an image of the input sequence and to correct the found zones using information from all other images of the sequence and a specific continuous correcting function. This method allows removing specularities while still preserving all other particularities of shading important for the further surface reconstruction.We then propose an original stereo photometric method for Lambertian surface reconstruction with no prior on illuminations. The implemented photometric stereo model consists of four components, two of them (albedo and normals) describe surface properties and the others (light sources intensities and directions) describe illumination. The proposed algorithm of the photometric stereo reconstruction uses the alternating optimization principle. Each model component is found iteratively fixing all variables but one and applying value and quality constraints for the optimization function. The original scheme of resolution allows separating of different information types included in input images. Thanks to such matrix factorization, the surface reconstruction is made with no prior information on lighting directions and the reconstructed objects properties. The applicability of the algorithm is proved using artificially created and open data-sets for which the ground truth information is available.The last part of the thesis is dedicated to the application of the proposed uncalibrated non- Lambertian photometric stereo approach to the Petri dish images. Images are obtained using illuminating sources which are supposed to be unknown for the reconstruction process. Moreover, the reconstructed microbial colonies are very diverse, generally have small size, can be Lambertian or not, and their surface properties are not defined in advance. The results of reconstruction for such complex real-world data add value and importance to the developed approach.