Production de cartes éparses de profondeur avec un système de stéréovision embarqué non-aligné

Production of soarse depth maps with an embedded non-aligned stereovision system.

• Auteur / Autrice : Sébastien Kramm
• Direction : Pierre Miché, Abdelaziz Bensrhair
• Type : Thèse de doctorat
• Discipline(s) : Physique. Système de vision
• Date : Soutenance en 2008
• Etablissement(s) : Rouen

Mots clés

Mots clés contrôlés

Vision par ordinateur

Imagerie tridimensionnelle

Mots clés libres

Stéréovision

Reconstruction 3D

Auto-calibrage

Matrice fondamentale

Résumé

Dans le domaine automobile, l'implémentation de systèmes de stéréovision embarqués à grande échelle en vue d'applications d'assistance à la conduite se heurte à des difficultés d'ordre pratique: afin de respecter les contraintes temporelles, les algorithmes rapides de mise en correspondance impliquent le plus souvent un alignement rigoureux des deux caméras, ce qui est difficilement comptatible avec une implémentation industrielle. Dans cette thèse, nous nous intéressons aux solutions permettant d'outrepasser cette contrainte d'alignement de façon intégralement logicielle, en considérant un système faiblement désaligné. L'idée est de rectifier la paire d'image de façon à pouvoir procéder à un appariement rapide en vue de la production d'une carte éparse de profondeur. Les techniques d'estimation automatique de la géométrie du système sont passées en revue, et il en ressort que les outils disponibles sont fiables, sous réserve d'une scène adéquate. Une étude sur l'estimation de la fiabilité est proposée, permettant d'envisager l'implémentation dans un contexte non-supervisé. Cette étude met en évidence de façon expérimentale la corrélation entre un certain nombre d'indicateurs et la fiabilité globale. Ceci permettra d'utiliser ou pas l'estimation réalisée pour procéder à la rectification. Les techniques de rectification des images ou des primitives sont évaluées, et les détails d'implémentation en sont précisés. Un critère minimisant explicitement la déformation géométrique est utilisé. Une solution est proposée pour optimiser le placement longitudinal relatif des images, afin de minimiser l'erreur en cas d'extraction directe de la profondeur à partir des disparités. Pour la production de cartes de profondeur, les techniques d'extraction des primitives et d'appariement sont étudiées. Pour l'extraction, une technique précédente est améliorée, et pour l'appariement, une solution novatrice est proposée, améliorant à la fois la vitesse et le nombre d'appariements obtenus. Enfin, les architectures possibles pour l'obtention d'une carte éparse de profondeur sont présentées, via l'extraction directe ou la reconstruction 3d.

In the automobile field, large scale implementation of embedded stereovision systems is facing a particular challenge. Matching algorithms usually require a perfectly aligned camera set, which is difficult to achieve. In this thesis, we consider software solutions in order to overcome this constraint, thus we can use very roughly aligned cameras. The idea is to rectify images, in order to produce fast sparse 3d maps. Automatic estimation of the epipolar geometry using only image data is being reviewed, and we conclude on it's reliability, assuming that an adequate scene is provided. A reliability score computing scheme is proposed, based on correlation between several criterions and the correctness of the geometry estimation. This technique is experimentally validated, and it will be used to determine if the estimated geometry should be used or not to rectify images. Image rectification techniques are also reviewed, and the implementation details are given. A criterion is used to find the rectification that minimizes image distorsion. A solution is given in order to determine horizontal relative situation of both images, so depth error is minimised in case of direct depth extraction. For the production of sparse depth maps, fast extraction of features and matching topics are covered. For feature extraction, minor improvements are suggested. For matching, a new algorithm is proposed, that improves both speed and matches ratio. Finally, several architectures are considered for depth map production, through direct depth extraction or 3D reconstruction.