Méthodes Analytiques Locales et Méthodes Globales Convexes pour la Reconstruction 3D de Surfaces Isométriquement Déformables.

Local analytic and global convex methods for the 3D reconstruction of isometric deformable surfaces.

• Auteur / Autrice : Ajad Chhatkuli
• Direction : Adrien Bartoli, Daniel Pizarro
• Type : Thèse de doctorat
• Discipline(s) : Sciences pour l'ingenieur
• Date : Soutenance le 02/12/2016
• Etablissement(s) : Clermont-Ferrand 1
• Ecole(s) doctorale(s) : École doctorale des sciences de la vie, santé, agronomie, environnement (Clermont-Ferrand)
• Partenaire(s) de recherche : Laboratoire : Institut des Sciences de l'Image pour les Techniques Interventionnelles
• Jury : Président / Présidente : David Fofi
• Jury : Examinateurs / Examinatrices : Adrien Bartoli, David Fofi
• Jury : Rapporteur / Rapporteuse : Lourdes Agapito

Mots clés

Mots clés contrôlés

Reconstruction d'image

Mots clés libres

Reconstruction non-rigide.

Reconstruction 3D

Surface isométric

Non-rigid Reconstruction.

Isométric surfaces,

3D Reconstruction,

Résumé

Cette thèse contribue au problème de la reconstruction 3D pour les surfaces déformables avec une seule caméra. Afin de modéliser la déformation de la surface, nous considérons l’isométrie puisque de nombreuses déformations d’objets réels sont quasi-isométriques. L’isométrie implique que, lors de sa déformation, la surface ne peut pas être étirée ou compressée. Nous étudions deux problèmes. Le premier est le problème basé sur une modèle 3D de référence et une seule image. L’état de l’art propose une méthode locale et analytique de calcul direct de profondeur sous l’hypothèse d’isométrie. Dans cette méthode, la solution pour le gradient de la profondeur n’est pas utilisée. Nous prouvons que cette méthode s’avère instable lorsque la géométrie de la caméra tend à être affine. Nous fournissons des méthodes alternatives basées sur les solutions analytiques locales des quantités de premier ordre, telles que les gradients de profondeur ou les normales de la surface. Nos méthodes sont stables dans toutes les géométries de projection. Dans le deuxième type de problème de reconstruction sans modèle 3D de référence, on obtient les formes de l’objet à partir d’un ensemble d’images où il apparaît déformé. Nous fournissons des solutions locales et globales basées sur le modéle de la caméra perspective. Dans la méthode locale ou par point, nous résolvons pour la normale de la surface en chaque point en supposant que la surface est infinitésimalement plane. Nous calculons ensuite la surface par intégration. Dans la méthode globale, nous trouvons une relaxation convexe du problème. Celle-ci est basée sur la relaxation de l’isométrie en contrainte d’inextensibilité et sur la maximisation de la profondeur en chaque point de la surface. Cette solution combine toutes les contraintes en un seul programme d’optimisation convexe qui calcule la profondeur et utilise une représentation éparse de la surface. Nous détaillons les expériences approfondies qui ont été réalisées pour démontrer l’efficacité de chacune des méthodes. Les expériences montrent que notre solution libre de modèle de référence local fonctionne mieux que la plupart des méthodes précédentes. Notre méthode local avec un modèle 3D de référence et notre méthode globale sans modèle 3D apportent de meilleurs résultats que les méthodes de l’état de l’art en étant robuste au bruit de la correspondance. En particulier, nous sommes en mesure de reconstruire des déformations complexes, non-lisses et d’articulations avec la seconde méthode; alors qu’avec la première, nous pouvons reconstruire avec précision de déformations larges à partir d’images prises avec des très longues focales.

This thesis contributes to the problem of 3D reconstruction for deformable surfaces using a single camera. In order to model surface deformation, we use the isometric prior because many real object deformations are near-isometric. Isometry implies that the surface cannot stretch or compress. We tackle two different problems. The first is called Shape-from-Template where the object’s deformed shape is computed from a single image and a texture-mapped 3D template of the object surface. Previous methods propose a differential model of the problem and compute the local analytic solutions. In the methods the solution related to the depth-gradient is discarded and only the depth solution is used. We demonstrate that the depth solution lacks stability as the projection geometry tends to affine. We provide alternative methods based on the local analytic solutions of first-order quantities, such as the depth-gradient or surface normals. Our methods are stable in all projection geometries. The second type of problem, called Non-Rigid Shape-from-Motion is the more general templatefree reconstruction scenario. In this case one obtains the object’s shapes from a set of images where it appears deformed. We contribute to this problem for both local and global solutions using the perspective camera. In the local or point-wise method, we solve for the surface normal at each point assuming infinitesimal planarity of the surface. We then compute the surface by integration. In the global method we find a convex relaxation of the problem. This is based on relaxing isometry to inextensibility and maximizing the surface’s average depth. This solution combines all constraints into a single convex optimization program to compute depth and works for a sparse point representation of the surface. We detail the extensive experiments that were used to demonstrate the effectiveness of each of the proposed methods. The experiments show that our local template-free solution performs better than most of the previous methods. Our local template-based method and our global template-free method performs better than the state-of-the-art methods with robustness to correspondence noise. In particular, we are able to reconstruct difficult, non-smooth and articulating deformations with the latter; while with the former we can accurately reconstruct large deformations with images taken at very long focal lengths.