Méthodes dʼestimation de la profondeur par mise en correspondance stéréoscopique à lʼaide de champs aléatoires couplés

par Ramya Narasimha

Thèse de doctorat en Mathématiques et informatique

Sous la direction de Radu Horaud et de Elise Arnaud.

Soutenue en 2010

à Grenoble , dans le cadre de École doctorale mathématiques, sciences et technologies de l'information, informatique (Grenoble) , en partenariat avec Laboratoire Jean Kuntzmann (Grenoble) (laboratoire) .

Le président du jury était Bernard Ycart.

Le jury était composé de Marc Sigelle, Nikos Paragios, Florence Forbes.

Les rapporteurs étaient Steven W. Zucker, Béatrice Pesquet-Popescu.

mots clés

• Stéréo-vision
• Champs de Markov
• Estimation de la disparité
• Inférence Bayésienne
• Stereo vision
• Mrf
• Disparity estimation
• Bayesian inference
• Photographie stéréoscopique
• Statistique bayésienne
• Markov, Champs aléatoires de

Résumé

La profondeur des objets dans la scène 3-D peut être récupérée à partir d'une paire d'images stéréo en trouvant des correspondances entre les deux points de vue. Cette tâche consiste à identifier les points dans les images gauche et droite, qui sont les projections du même point de la scène. La différence entre les emplacements des deux points correspondants est la disparité, qui est inversement proportionnelle à la profondeur 3D. Dans cette thèse, nous nous concentrons sur les techniques Bayésiennes qui contraignent les estimations des disparités en appliquant des hypothèses de lissage explicites. Cependant, il ya des contraintes supplémentaires qui doivent être incluses, par exemple, les disparités ne doivent pas être lissées au travers des bords des objets, les disparités doivent être compatibles avec les propriétées géométriques de la surface. L'objectif de cette thèse est d'intégrer ces contraintes en utilisant des informations monoculaires et des informations géométrique différentielle sur la surface. Dans ce but, cette thèse considère deux problèmes importants associés à stéréo : le premier est la localisation des discontinuités des disparités et le second vise à récupérer les disparités binoculaires en conformité avec les propriétés de surface de la scène. Afin de faire face aux discontinuités des disparités, nous nous proposons d'estimer conjointement les disparités et les frontières des objets. Cette démarche est motivée par le fait que les discontinuités des disparités se trouvent à proximité des frontières des objets. La seconde méthode consiste à contraindre les disparités pour qu'elles soient compatibles avec la surface et les normales à la surface en estimant les deux en même temps.

Titre traduit

Depth recovery from stereo matching using coupled random fields

Résumé

The depth of objects in 3-D scene can be recovered from a stereo image-pair by finding correspondences between the two views. This stereo matching task involves identifying the corresponding points in the left and the right images, which are the projections of the same scene point. The difference between the locations of the two corresponding points is the disparity, which is inversely related to the 3-D depth. In this thesis, we focus on Bayesian techniques that constrain the disparity estimates. In particular, these constraints involve explicit smoothness assumptions. However, there are further constraints that should be included, for example, the disparities should not be smoothed across object boundaries, the disparities should be consistent with geometric properties of the surface, and regions with similar colour should have similar disparities. The goal of this thesis is to incorporate such constraints using monocular cues and differential geometric information about the surface. To this end, this thesis considers two important problems associated with stereo matching; the first is localizing disparity discontinuities and second aims at recovering binocular disparities in accordance with the surface properties of the scene under consideration. We present a possible solution for each these problems. In order to deal with disparity discontinuities, we propose to cooperatively estimating disparities and object boundaries. This is motivated by the fact that the disparity discontinuities occur near object boundaries. The second one deals with recovering surface consistent disparities and surface normals by estimating the two simultaneously.