Reconnaissance,localisation et suivi d'objets texturés par vision monoculaire

Textured objects recognition,localization and tracking by monocular vision

• Auteur / Autrice : Nicolas Allezard
• Direction : Michel Dhome
• Type : Thèse de doctorat
• Discipline(s) : Vision pour la robotique
• Date : Soutenance en 2001
• Etablissement(s) : Clermont-Ferrand 2
• Ecole(s) doctorale(s) : École doctorale des sciences pour l'ingénieur (Clermont-Ferrand)
• Partenaire(s) de recherche : Laboratoire : LAboratoire des Sciences et Matériaux pour l’Electronique, et d’Automatique
• Jury : Président / Présidente : Jean Gallice
• Jury : Examinateurs / Examinatrices : Frédéric Jurie
• Jury : Rapporteurs / Rapporteuses : Françoise Prêteux, Michel Devy

Mots clés

Mots clés contrôlés

Traitement d'images

Indexation automatique

Résumé

Nous traiterons dans ce mémoire de thèse du problème de la reconnaissance d'objets texturés par vision monoculaire ainsi que de leurs localisations et de leurs suivis dans le repère caméra. Nous avons développé une approche mixte, basée sur l'appariement de primitives visuelles entre l'image à analyser et les images d'une base d'apprentissage, mais qui tire partie de la connaissance du modèle CAO texturé de l'objet pour valider le résultat du processus de reconnaissance et localiser l'objet. Dans un contexte d'objets texturés, les primitives les plus pertinentes semblent être les points d'intérêt. Ces derniers, très présents dans le cas d'images texturées, sont situés dans des zones riches en information de luminance. Ces primitives sont caractérisées localement par un vecteur directement basé sur le signal de luminance. Il est invariant aux rotations et translations 2D, aux changements affines de la luminosité et peut être implémenté de façon multi-d'échelles. Préalablement à la reconnaissance, une phase d'apprentissage est réalisée. Elle consiste en la génération d'images synthétiques de l'objet puis en la création d'une base de données rassemblant les primitives extraites ainsi que leurs vecteurs caractéristiques. La base est ensuite organisée de façon à être parcourue rapidement. L'utilisation d'images synthétiques permet de remonter aux coordonnées 3D des points extraits lors de l'apprentissage et donc d'obtenir des appariements 3D/2D entre l'image et le modèle qui permettent de calculer la pose de l'objet. Ce calcul est effectué de façon robuste et introduit une contrainte géométrique forte sur les mises en correspondance. Dans le cas d'une séquence d'image, le processus peut être considérablement accéléré. Une fois la position de l'objet connue dans la première image, l'extraction des points est limitée dans l'image et le parcours de la base est initialisé par la pose 3D précédente de l'objet.

This thesis deals with textured objects recognition by monocular vision as well as their localization and tracking in the camera coordinates system. We have developed a mixed approach, based on the matching of visual primitives between the image to analyse and the images of a training base, but which uses the knowledge of the 3D object model to validate the result of the recognition process and to locate the object. In a context of textured objects the most relevant features seems to be keypoints. These points are located in image zones having a high information content. We propose a local description of such features directly based on the luminance signal. It is insensitive to image rotations ans translations and we also present a multi-scale implementation of these description in order to recognize objects in spite of important scale changes. Before the recognition, a training stage is carried out. It consists in the genration of synthetic images of the object then in the creation of a data base gathering the extracted primitives and their characterization vector. After that the data are organize in order to scan the base as fast as possible. The use of synthetics images allows them to compute the 3D coordinates of the keypoints extracted at the training stage. So, after the matching done, we obtain a set of 2D/3D pairs between the image and the object model. Thus, we compute the object position with a robust method which introduce a strong geometrical constraint on the 2D/3D pairs. In the case of a images sequence, once the object position known in the first image, the process can be considerably accelerated : the features extraction is limited to a part of the image and the data base scanning is initialized by the preceding 3D position of the object.