Localisation 3D basée sur une approche de suppléance multi-capteurs pour la réalité augmentée mobile en milieu extérieur

3D localization based on multi-sensors assistance scheme for outdoor augmented reality

• Auteur / Autrice : Iman mayssa Zendjebil
• Direction : Malik Mallem
• Type : Thèse de doctorat
• Discipline(s) : Traitement des images et du signal
• Date : Soutenance le 01/10/2010
• Etablissement(s) : Evry-Val d'Essonne
• Ecole(s) doctorale(s) : École doctorale Sciences et Ingénierie (Evry ; 2008-2015)
• Jury : Président / Présidente : Pascal Guitton
• Jury : Examinateurs / Examinatrices : Fakhr-Eddine Ababsa, Jean-Yves Didier
• Jury : Rapporteurs / Rapporteuses : David Fofi, Éric Marchand
• DOI : 10.70675/251b3509z9cffz4de2z9039z817d526440d1

Mots clés

Mots clés contrôlés

Réalité augmentée

Fusion multicapteurs

Appariement (statistique)

Mots clés libres

Suppléance de données

Résumé

La démocratisation des terminaux mobiles telle que les téléphones cellulaires, les PDAs et les tablettes PC a rendu possible le déploiement de la réalité augmentée dans des environnements en extérieur à grande échelle. Cependant, afin de mettre en œuvre de tels systèmes, différentes problématiques doivent êtres traitées. Parmi elle, la localisation représente l’une des plus importantes. En effet, l’estimation de la position et de l’orientation (appelée pose) du point de vue (de la caméra ou de l’utilisateur) permet de recaler les objets virtuels sur les parties observées de la scène réelle. Dans nos travaux de thèse, nous présentons un système de localisation original destiné à des environnements à grande échelle qui utilise une approche basée vision sans marqueur pour l’estimation de la pose de la caméra. Cette approche se base sur des points caractéristiques naturels extraits des images. Etant donné que ce type d’approche est sensible aux variations de luminosité, aux occultations et aux mouvements brusques de la caméra, qui sont susceptibles de survenir dans l’environnement extérieur, nous utilisons deux autres types de capteurs afin d’assister le processus de vision. Dans nos travaux, nous voulons démontrer la faisabilité d’un schéma de suppléance dans des environnements extérieurs à large échelle. Le but est de fournir un système palliatif à la vision en cas de défaillance permettant également de réinitialiser le système de vision en cas de besoin. Le système de localisation vise à être autonome et adaptable aux différentes situations rencontrées.

The democratization of mobile devices such as smartphones, PDAs or tablet-PCs makes it possible to use Augmented Reality systems in large scale environments. However, in order to implement such systems, many issues must be adressed. Among them, 3D localization is one of the most important. Indeed, the estimation of the position and orientation (also called pose) of the viewpoint (of the camera or the user) allows to register the virtual objects over the visible part of the real world. In this paper, we present an original localization system for large scale environments which uses a markerless vision-based approach to estimate the camera pose. It relies on natural feature points extracted from images. Since this type of method is sensitive to brightness changes, occlusions and sudden motion which are likely to occur in outdoor environment, we use two more sensors to assist the vision process. In our work, we would like to demonstrate the feasibility of an assistance scheme in large scale outdoor environment. The intent is to provide a fallback system for the vision in case of failure as well as to reinitialize the vision system when needed. The complete localization system aims to be autonomous and adaptable to different situations. We present here an overview of our system, its performance and some results obtained from experiments performed in an outdoor environment under real conditions.