Localisation et reconnaissance de marqueurs circulaires à partir d'une vue de leur contour

Pose estimation and recognition of circular markers from one view of their contour

• Auteur / Autrice : Damien Mariyanayagam
• Direction : Vincent Charvillat, Sylvie, Julie Chambon
• Type : Thèse de doctorat
• Discipline(s) : Informatique et Télécommunications
• Date : Soutenance le 12/06/2020
• Etablissement(s) : Toulouse, INPT
• Ecole(s) doctorale(s) : École doctorale Mathématiques, informatique et télécommunications (Toulouse)
• Partenaire(s) de recherche : Laboratoire : Institut de Recherche en Informatique de Toulouse (1995-....)
• Jury : Président / Présidente : Luce Morin
• Jury : Examinateurs / Examinatrices : Vincent Charvillat, Sylvie, Julie Chambon, Adrien Bartoli, David Fofi, Pierre Gurdjos, Yihong Wu
• Jury : Rapporteurs / Rapporteuses : Adrien Bartoli, David Fofi

Mots clés

Mots clés contrôlés

Réalité augmentée

Reconnaissance optique des formes (informatique)

Vision par ordinateur

Mots clés libres

Réalité augmentée

Suivi de position

Vision par ordinateur

Reconnaissance visuelle

Augmented reality

Position tracking

Computer Vision

Visual recognition

Résumé

La localisation ou l’estimation de la pose d’une caméra à partir d’une vue est un problème essentiel dans de nombreuses applications, telles que le suivi d’une trajectoire de véhicule autonome ou la réalité augmentée. La pose d’une caméra peut être estimée à partir de marqueurs construits spécifiquement pour cette tâche et qui peuvent être placés dans la scène. Ces marqueurs possèdent des caractéristiques qui permettent de les distinguer des autres objets de la scène. Il est ainsi plus facile de les détecter dans une image et de les reconnaître que des objets naturels comme des points d’intérêts. La correspondance entre la forme du marqueur et son image par une caméra contraint la pose de sorte qu'il est possible de retrouver les coordonnées du marqueur dans le repère de la caméra. Les marqueurs circulaires sont particulièrement intéressants pour leur résilience à l’occultation partielle de l’image. En effet une ellipse peut être estimée à partir de seulement 5 points quelconques de son contour. Ainsi un marqueur partiellement occulté peut toujours être correctement localisé. Le problème c’est que l’image du contour circulaire n’est pas suffisante pour calculer la pose du marqueur, les marqueurs circulaires fonctionnent ainsi soit avec une caméra calibrée, soit en ajoutant d’autres primitives comme par exemple des cercles concentriques. L’image du contour est pourtant souvent la seule information fiable dont on dispose dans certains cas d’utilisation. De plus, même avec une caméra est calibrée, l’image d’un seul cercle n’est pas suffisante pour obtenir la pose de son plan de support, il existe en effet une double ambiguïté qu’on ne peut distinguer sans information supplémentaire. En plus de cette ambiguïté, il existe une infinité de poses possibles pour le marqueur. Ces poses correspondent à l’ensemble des rotations autour de l’axe perpendiculaire au plan de support et passant par le centre du cercle. Ainsi nous pouvons distinguer quatre problématiques majeures traitées dans cette thèse : 1) Comment prendre en compte des connaissances approximatives sur les paramètres de calibrage ? 2) Quelles sont les conditions minimales de résolution de l’ambiguïté sur la pose du plan ? 3) Comment calculer la rotation autour de l’axe du cercle ? 4) Est-il possible d’identifier le marqueur en utilisant également son environnement ? Notre première contribution répond à la première question. Pour cela nous proposons un modèle « par défaut » de la caméra. Ce modèle permet d’insérer nos incertitudes sur les paramètres intrinsèques de la caméra dans un algorithme qui recherche une solution photométrique au problème de la rectification métrique de l’image du marqueur. Les résultats démontrent que l’utilisation de ce modèle « par défaut » offre des perspectives encourageantes pour les marqueurs circulaires. Notre seconde contribution porte sur l’ambiguïté de la pose du plan de support. Pour l’étudier nous proposons une nouvelle formulation du problème de l’estimation de la pose d’un cercle à partir de l’image de son contour. Cette formulation permet de faire le lien entre l’ambiguïté géométrique et les solutions algébriques obtenues. Cela nous amène à proposer une paramétrisation minimale de la pose qui fournit une condition simple de résolution de l’ambiguïté. Enfin nous proposons une nouvelle méthode de localisation du marqueur circulaire à partir de points d’intérêts détectés dans son voisinage. La méthode repose sur une bibliothèque composée de vues de référence du marqueur prises hors ligne. Le marqueur est ensuite reconnu sur une nouvelle vue en utilisant conjointement l’image du cercle et des correspondances de points sur les vues de références. Le modèle de pose est ensuite validé par une procédure de type RANSAC qui s’appuie sur une paramétrisation minimale par l’image d’un point 3D et d’un cercle.

Locating or estimating the pose of a camera from a view is an essential problem in many applications, such as tracking a trajectory of autonomous vehicle navigation or augmented reality. The pose of a camera can be estimated from markers built specifically for this task and which can be placed in the scene. These markers have characteristics that distinguish them from other objects in the scene, making them easier to detect and recognize than natural objects such as points of interest. The correspondence between the shape of the marker and its image by a camera gives constraints to the pose so that it is possible to find the coordinates of the marker in the camera's reference frame. Circular markers are particularly interesting for their robustness to partial occlusion of their image. Indeed an ellipse can be estimated from only 5 points of its contour so a partially occulted marker can always be correctly located. The problem is that the image of the circular contour is not sufficient to calculate the marker pose, the circular markers work either with a calibrated camera or by adding other circular contours such as concentric circles. Unfortunately, the contour image is often the only reliable information available in some cases of use. Moreover, even if the camera is calibrated, the image of a single circle is not sufficient to obtain the pose of its support plane, there is indeed a double ambiguity that cannot be distinguished without additional information. In addition to this ambiguity, there is an infinity of possible poses for the marker. These poses correspond to all the rotations about the axis perpendicular to the support plane and passing through the center of the circle. Thus we can distinguish four major issues addressed in this thesis: How to take into account approximate knowledge of camera calibration parameters? What are the minimum conditions for solving the ambiguity on the pose of the plane? How to calculate the rotation around the axis of the circle? Is it possible to identify the marker using the image of its contour and its surrounding? Our first contribution handles the first question, in this purpose we introduce a "default" model of the camera. This model let us to incorporate our uncertainties about the intrinsic parameters of the camera into an algorithm that search for a photometric solution to the problem of metric correction of the marker image. The results show that the use of this "default" model offers encouraging prospects for circular markers. Our second contribution concerns the ambiguity of the pose of the support plan. To study it, we propose a new formulation of the problem of estimating the pose of a circle from the image of its contour. This formulation makes it possible to make the link between geometric ambiguity and the algebraic solutions obtained. This leads us to propose a minimal parameterization of the pose that provides a simple condition on the resolution of ambiguity. Finally, we propose a new method for locating the circular marker based on points of interest detected in its vicinity. The method is based on a library of marker reference views made offline. The marker is then recognized in a new view by using the image of the circle and the point correspondences found in the reference views together. The pose is then validated by a RANSAC procedure based on a minimal parameterization by the image of a 3D point and a circle.