Recalage robuste à base de motifs de points pseudo aléatoires pour la réalité augmentée

Point pattern matching for augmented reality

• Auteur / Autrice : Liming Yang
• Direction : Guillaume Moreau, Jean-Marie Normand
• Type : Thèse de doctorat
• Discipline(s) : Aménagement de l'espace, urbanisme
• Date : Soutenance le 07/12/2016
• Etablissement(s) : Ecole centrale de Nantes
• Ecole(s) doctorale(s) : École doctorale Sciences pour l'ingénieur, Géosciences, Architecture (Nantes)
• Partenaire(s) de recherche : Laboratoire : Centre de recherche nantais architectures urbanités
• Jury : Président / Présidente : Pascal Guitton
• Jury : Examinateurs / Examinatrices : Guillaume Moreau, Jean-Marie Normand, Pascal Guitton, Peter Sturm, Eric Marchand, Gilles Simon
• Jury : Rapporteurs / Rapporteuses : Peter Sturm, Eric Marchand

Mots clés

Mots clés contrôlés

Mires

Recalage d'images

Localisation (informatique)

Réalité augmentée

Mots clés libres

Réalité augmentée

Recalage des motifs de points

Suivi

Peu-texturé

Calibration

Projecteur-caméra

Carte augmentée

Surface de révolution

Augmented reality

Point pattern matching

Registration

Texture-less tracking

Calibration

Projector-camera

Augmented map

Surface of revolution

Résumé

La Réalité Augmentée (RA) vise à afficher des informations numériques virtuelles sur des images réelles. Le recalage est important, puisqu’il permet d'aligner correctement les objets virtuels dans le monde réel. Contrairement au tracking qui recale en utilisant les informations de l’image précédente, la localisation à grande échelle (wide baseline localization) calcule la solution en utilisant uniquement les informations présentes dans l’image courante. Il permet ainsi de trouver des solutions initiales au problème de recalage (initialisation) et, n’est pas sujet aux problèmes de « perte de tracking ». Le problème du recalage en RA est relativement bien étudié dans la littérature, mais les méthodes existantes fonctionnent principalement lorsque la scène augmentée présente des textures. Pourtant, pour le recalage avec les objets peu ou pas texturés, il est possible d’utiliser leurs informations géométriques qui représentent des caractéristiques plus stables que les textures. Cette thèse s’attache au problème de recalage basé sur des informations géométriques, et plus précisément sur les points. Nous proposons deux nouvelles méthodes de recalage de points (RRDM et LGC) robustes et rapides. LGC est une amélioration de la méthode RRDM et peut mettre en correspondance des ensembles de motifs de points 2D ou 3D subissant une transformation dont le type est connu. LGC présente un comportement linéaire en fonction du nombre de points, ce qui permet un tracking en temps-réel. La pertinence de LGC a été illustrée en développant une application de calibration de système projecteur-caméra dont les résultats sont comparables avec l’état de l’art tout en présentant des avantages pour l’utilisateur en termes de taille de mire de calibration..

Registration is a very important task in Augmented Reality (AR). It provides the spatial alignment between the real environment and virtual objects. Unlike tracking (which relies on previous frame information), wide baseline localization finds the correct solution from a wide search space, so as to overcome the initialization or tracking failure problems. Nowadays, various wide baseline localization methods have been applied successfully. But for objects with no or little texture, there is still no promising method. One possible solution is to rely on the geometric information, which sometimes does not vary as much as texture or color. This dissertation focuses on new wide baseline localization methods entirely based on geometric information, and more specifically on points. I propose two novel point pattern matching algorithms, RRDM and LGC. Especially, LGC registers 2D or 3D point patterns under any known transformation type and supports multipattern recognitions. It has a linear behavior with respect to the number of points, which allows for real-time tracking. It is applied to multi targets tracking and augmentation, as well as to 3D model registration. A practical method for projector-camera system calibration based on LGC is also proposed. It can be useful for large scale Spatial Augmented Reality (SAR). Besides, I also developed a method to estimate the rotation axis of surface of revolution quickly and precisely on 3D data. It is integrated in a novel framework to reconstruct the surface of revolution on dense SLAM in real-time.