Depth recovery from stereo matching using coupled random fields

• Auteur / Autrice : Ramya Narasimha
• Direction : Radu Horaud, Elise Arnaud
• Type : Thèse de doctorat
• Discipline(s) : Informatique et mathématiques
• Date : Soutenance en 2010
• Etablissement(s) : Grenoble
• Ecole(s) doctorale(s) : École doctorale Mathématiques, sciences et technologies de l'information, informatique (Grenoble1995-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Jean Kuntzmann (Grenoble, Isère, France ; 2007-....)
• Jury : Président / Présidente : Bernard Ycart
• Jury : Examinateurs / Examinatrices : Marc Sigelle, Nikos Paragios, Florence Forbes
• Jury : Rapporteur / Rapporteuse : Steven W. Zucker, Béatrice Pesquet-Popescu

Mots clés

Mots clés contrôlés

Champs aléatoires de Markov

Statistique bayésienne

Photographie stéréoscopique

Mots clés libres

Stéréo-vision

Champs de Markov

Estimation de la disparité

Inférence Bayésienne

Stereo vision

Mrf

Disparity estimation

Bayesian inference

Résumé

La profondeur des objets dans la scène 3-D peut être récupérée à partir d'une paire d'images stéréo en trouvant des correspondances entre les deux points de vue. Cette tâche consiste à identifier les points dans les images gauche et droite, qui sont les projections du même point de la scène. La différence entre les emplacements des deux points correspondants est la disparité, qui est inversement proportionnelle à la profondeur 3D. Dans cette thèse, nous nous concentrons sur les techniques Bayésiennes qui contraignent les estimations des disparités en appliquant des hypothèses de lissage explicites. Cependant, il ya des contraintes supplémentaires qui doivent être incluses, par exemple, les disparités ne doivent pas être lissées au travers des bords des objets, les disparités doivent être compatibles avec les propriétées géométriques de la surface. L'objectif de cette thèse est d'intégrer ces contraintes en utilisant des informations monoculaires et des informations géométrique différentielle sur la surface. Dans ce but, cette thèse considère deux problèmes importants associés à stéréo : le premier est la localisation des discontinuités des disparités et le second vise à récupérer les disparités binoculaires en conformité avec les propriétés de surface de la scène. Afin de faire face aux discontinuités des disparités, nous nous proposons d'estimer conjointement les disparités et les frontières des objets. Cette démarche est motivée par le fait que les discontinuités des disparités se trouvent à proximité des frontières des objets. La seconde méthode consiste à contraindre les disparités pour qu'elles soient compatibles avec la surface et les normales à la surface en estimant les deux en même temps.

The depth of objects in 3-D scene can be recovered from a stereo image-pair by finding correspondences between the two views. This stereo matching task involves identifying the corresponding points in the left and the right images, which are the projections of the same scene point. The difference between the locations of the two corresponding points is the disparity, which is inversely related to the 3-D depth. In this thesis, we focus on Bayesian techniques that constrain the disparity estimates. In particular, these constraints involve explicit smoothness assumptions. However, there are further constraints that should be included, for example, the disparities should not be smoothed across object boundaries, the disparities should be consistent with geometric properties of the surface, and regions with similar colour should have similar disparities. The goal of this thesis is to incorporate such constraints using monocular cues and differential geometric information about the surface. To this end, this thesis considers two important problems associated with stereo matching; the first is localizing disparity discontinuities and second aims at recovering binocular disparities in accordance with the surface properties of the scene under consideration. We present a possible solution for each these problems. In order to deal with disparity discontinuities, we propose to cooperatively estimating disparities and object boundaries. This is motivated by the fact that the disparity discontinuities occur near object boundaries. The second one deals with recovering surface consistent disparities and surface normals by estimating the two simultaneously.