Contribution au développement d’un casque « see-through » de réalité augmentée : fusion de données pour une meilleure localisation 3D

Contribution to the development of a see-through augmented reality headset : data fusion for better 3D localization

• Auteur / Autrice : Marwene Kechiche
• Direction : Rosario Toscano, Roland Fortunier, Ioan Alexandru Ivan
• Type : Thèse de doctorat
• Discipline(s) : Informatique et Ingénierie
• Date : Soutenance le 19/11/2020
• Etablissement(s) : Lyon
• Ecole(s) doctorale(s) : École doctorale Sciences Ingénierie Santé (Saint-Etienne)
• Partenaire(s) de recherche : Laboratoire : Laboratoire de tribologie et dynamique des systèmes (Écully, Rhône ; 1970-) - Laboratoire de tribologie et de dynamique des systèmes
• Partenaire(s) de recherche : établissement opérateur d'inscription : Ecole nationale d'ingénieurs (Saint-Etienne ; 1961-....) - École Centrale de Lyon (1857-....)
• Jury : Président / Présidente : Ronan Querrec
• Jury : Examinateurs / Examinatrices : Rosario Toscano, Roland Fortunier, Ioan Alexandru Ivan
• Jury : Rapporteurs / Rapporteuses : Stéphane Derrode, Ouiddad Labbani-Igbida

Mots clés

Mots clés contrôlés

Réalité augmentée

Mots clés libres

Réalité augmentée

Fusion de données

Localisation 3D

SLAM

Augmented Reality

Data fusion

3D localization

SLAM

Résumé

Les applications de réalité augmentée nécessitent une localisation 3D afin de superposer ou augmenter le monde réel avec des projections virtuelles. Dans le cadre de cette thèse une localisation grande échelle est exploitée. Cette localisation est basée sur une famille d’algorithmes de vision par ordinateur nommée « Localisation et cartographie simultanées (SLAM)». L’algorithme de vision par ordinateur est connu pour sa précision et ses dérives minimes. Cependant il souffre d’un temps de traitement important et une nécessité importante en terme de ressources informatiques ce qui rend l’algorithme inexploitable en temps réel avec des périphériques embarqués a faible puissance de calcul. La navigation inertielle (basé sur une centrale inertielle) permet d’effectuer une localisation 3D en temps réel. En revanche elle souffre d’une dérive importante dans un intervalle de temps étroit. Dans cette thèse, un couplage faible entre les deux techniques de navigation est fait afin de profiter des performances des deux algorithmes. Une méthode de rétro-correction est implémentée afin de corriger les problèmes de synchronisation matérielle entre les deux algorithmes et les deux estimateurs de poses. Cette méthode est renforcée par une prédiction adaptative qui prédit les poses futures pour plus de précisions et pour minimiser la latence de traitement. Finalement, des tests sur les performances ont été réalisés pour évaluer les performances de l’ensemble des techniques développées et respecter les latences autorisées pour les applications de réalité augmentée visées. Les méthodes évaluées et testées sont utilisées pour faire fonctionner un nouveau casque de réalité augmentée développé par des partenaires au sein du projet REVE5D. Ce casque de réalité augmentée est destiné à une utilisation industrielle et culturelle.

Augmented reality applications require 3D localization in order to overlay or augment the real world with virtual projections. In the context of this thesis a large-scale localization is exploited. This localization is based on a family of computer vision algorithms called Simultaneous Localization and Mapping (SLAM). The computer vision algorithm is known for its accuracy and its minimal drifts. However, it suffers from a high processing time and an important need in terms of computing resources which makes the algorithm unusable in real time with embedded peripherals with low computing power. Inertial navigation (based on an inertial unit) allows to perform a 3D localization in real time. On the other hand, it suffers from an important drift in a narrow time interval. In this thesis, a weak coupling between the two navigation techniques is made in order to benefit from the performances of both algorithms. A feedback correction method is implemented to correct hardware synchronization problems between the two algorithms and the two pose estimators. This method is reinforced by an adaptive prediction that predicts future exposures for more accuracy and to minimize processing latency. Finally, performance tests were performed to evaluate the performance of all the techniques developed and to respect the latencies allowed for the targeted augmented reality applications. The evaluated and tested methods are used to operate a new augmented reality headset developed by partners within the REVE5D project. This augmented reality headset is intended for industrial and cultural use.