Vers des applications de réalité augmentée utilisant la géolocalisation

On mobile augmented reality applications based on geolocation

• Auteur / Autrice : Thibaud Michel
• Direction : Nabil Layaida, Pierre Genevès, Hassen Fourati
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 10/11/2017
• Etablissement(s) : Université Grenoble Alpes (ComUE)
• Ecole(s) doctorale(s) : École doctorale mathématiques, sciences et technologies de l'information, informatique (Grenoble ; 199.-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique de Grenoble
• Jury : Président / Présidente : Laurence Nigay
• Jury : Examinateurs / Examinatrices : Oliver Ruepp
• Jury : Rapporteurs / Rapporteuses : Valérie Renaudin, Takeshi Kurata

Mots clés

Mots clés contrôlés

Réalité augmentée

Système d'information géographique

Smartphones

Mots clés libres

Mobile

Réalité Augmentée

Geolocalisation

Smartphone

Mobile

Augmented Reality

Geolocation

Smartphone

Résumé

Les applications de réalité augmentée peuvent être conçues de différentes manières, mais encore très peu tirent partie de la géolocalisation.Pourtant, aujourd'hui, avec la multitude de capteurs embarqués dans nos smartphones et nos tablettes, l’utilisation de la géolocalisation dans le contexte de la RA (RA Geo) semble très prometteuse.Dans ce travail de thèse, nous avons contribué sur plusieurs aspects fondamentaux de la RA Geo: l'estimation de la position du dispositif, l'estimation de son orientation, ainsi que sur l'impact de ces estimations sur le rendu des informations virtuelles.Dans un premier temps, nous avons étudié l'estimation de l’orientation du téléphone.Nous avons réalisé le premier benchmark dans un motion lab afin de comparer et d'évaluer les différents filtres de la littérature sur une base commune.Celui-ci a permis de produire la première analyse comparative approfondie des différentes approches.Nous avons aussi proposé un nouveau filtre dont le but est de minimiser l’effet des perturbations magnétiques omniprésentes en intérieur et avons quantifié son apport par rapport aux techniques existantes.Dans un deuxième temps, nous avons étudié l'estimation de la position du téléphone lorsqu’il est porté par un piéton.Il existe de nombreux travaux sur les technologies de localisation mais il est difficile de trouver un benchmark qui évalue les différentes technologies dans le cas d’un smartphone grand public. Ainsi, à nouveau nous avons produit le premier benchmark pour analyser de façon comparative les différentes techniques de localisation qui peuvent être utilisées avec un smartphone.Dans un troisième temps, nous avons proposé une méthode pour caractériser l'impact des estimations d'orientation et de positionnement sur le rendu des informations virtuelles.Ceci a permis d'identifier des critères permettant de comprendre plus précisément les limites de faisabilité de différent cas d'utilisation de la RA Geo.Enfin, nous avons proposé un nouveau framework pour faciliter la conception d’applications de la RA Geo.Nous montrons comment les données de cartographie peuvent être utilisées et enrichies à l’aide d’une nouvelle sémantique utilisant OpenStreetMap.Nous avons créé un visualiseur permettant d'afficher des éléments virtuels sur le flux de la caméra.Ce framework intègre différents modules pour la localisation, l’orientation, la gestion des points d'intérêts, le geofencing, l’audio spatialisé, et le rendu 2D ou RA.Finalement, trois exemples d'applications d'AR Géo ont été réalisés à partir de ce framework.TyrAr est une application pour visualiser des informations sur les sommets et les villes environnantes.AmiAr permet de contrôler de certains objets de domotique dans un appartement connecté.Venturi Y3 est une visite guidée de la ville de Grenoble avec des expériences de RA avec de l'audio.

Applications for augmented reality can be designed in various ways, but few take advantage of geolocation.However, nowadays, with the many cheap sensors embedded in smartphones and tablets, using geolocation for augmented reality (Geo AR) seems to be very promising.In this work, we have contributed on several aspects of Geo AR: estimation of device positioning and attitude, and the impact of these estimations on the rendering of virtual information.In a first step, we focused on smartphone attitude estimation.We proposed the first benchmark using a motion lab with a high precision for the purpose of comparing and evaluating filters from the literature on a common basis.This allowed us to provide the first in-depth comparative analysis in this context.In particular, we focused on typical motions of smartphones when carried by pedestrians.Furthermore, we proposed a new technique for limiting the impact of magnetic perturbations with any attitude estimation algorithm used in this context.We showed how our technique compares and improves over previous works.In a second step, we studied the estimation of the smartphone's position when the device is held by a pedestrian.Altough many earlier works focused on evaluation of localisation systems, it remains very difficult to find a benchmark to compare technologies in the setting of a commodity smartphone. Once again, we proposed a novel benchmark to analyse localisation technologies including WiFi fingerprinting, WiFi trilateration, SHS (Step and Heading System) and map-matching.In a third step, we proposed a method for characterizing the impact of attitude and position estimations on the rendering of virtual features.This made it possible to identify criteria to better understand the limits of Geo AR for different use cases.We finally proposed a framework to facilitate the design of Geo AR applications.We show how geodata can be used for AR applications.We proposed a new semantics that extends the data structures of OpenStreetMap.We built a viewer to display virtual elements over the camera livestream.The framework integrates modules for geolocation, attitude estimation, POIs management, geofencing, spatialized audio, 2.5D rendering and AR.Three Geo AR applications have been implemented using this framework.TyrAr is an application to display information on mountain summits and cities around the user.AmiAr allows one to monitor lights, shutters, tv in a smart appartment.Venturi Y3 is an AR-Tour of Grenoble with audio description and experiences.