Usages de la réalité augmentée pour la vie quotidienne

Using Augmented Reality in Everyday Life

• Auteur / Autrice : Eugénie Brasier
• Direction : Caroline Appert
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 13/12/2021
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire interdisciplinaire des sciences du numérique (Orsay, Essonne ; 2021-....)
• Partenaire(s) de recherche : Référent : Faculté des sciences d'Orsay
• Partenaire(s) de recherche : graduate school : Université Paris-Saclay. Graduate School Informatique et sciences du numérique (2020-....)
• Jury : Président / Présidente : Wendy Mackay
• Jury : Examinateurs / Examinatrices : Laurent Grisoni, Laurence Nigay, Mathieu Nancel
• Jury : Rapporteur / Rapporteuse : Laurent Grisoni, Laurence Nigay

Mots clés

Mots clés contrôlés

Réalité augmentée

Interaction humain-machine

Mots clés libres

Interaction Homme-Machine

Réalité Augmentée

Human-Computer Interaction

Augmented Reality

Résumé

Ce manuscrit présente les recherches que j’ai effectuées dans le cadre de ma thèse de doctorat autour des usages de la Réalité Augmentée (RA) dans la vie de tous les jours. J'y présente trois questions de recherche :QR1 - Comment reconsidérer nos interactions avec la Réalité Augmentée portative pour que celles-ci soient appropriées pour des interactions prolongées ?QR2 - Peut-on énoncer des recommandations sur l'augmentation des appareils mobiles avec la Réalité Augmentée portative ?QR3 - Comment un utilisateur peut-il garder le contrôle sur le contenu qu'il perçoit en Réalité Augmentée ?Le manuscrit est organisé en trois parties répondant respectivement à chacune de ces trois questions de recherche.Pour répondre à notre première question (QR1), nous présentons le projet ARPads. Un ARPad n'a pas de réalité physique, mais représente un plan d'interaction flottant dans l'air dans lequel les mouvements de l'utilisateur sont traduits par des mouvements de curseur dans une fenêtre de RA affichée dans l'environnement. Ce contrôle indirect permet à l'utilisateur d'adopter une posture plus confortable pour manipuler du contenu affiché en RA par opposition au contrôle direct qui force l'utilisateur à maintenir ses bras en l'air en direction du contenu de RA. Après avoir défini les critères de conceptions de ces ARPads en prenant en compte leur position et leur orientation relatives à l'utilisateur, nous avons implémenté et évalué certaines conceptions prometteuses. Nos résultats montrent que le contrôle indirect peut atteindre des performances similaires à celles du contrôle direct, tout en limitant la fatigue perçue par l'utilisateur et identifient les conceptions d'ARPads les plus efficaces.Pour notre deuxième question (QR2), nous nous concentrons sur la combinaison entre les appareils mobiles et la RA. Suite à un atelier de conception mené avec des utilisateurs d'appareils mobiles, nous avons défini un espace de conception d'applications centrées sur le smartphone pouvant bénéficier d'une association avec la RA. En particulier, nous avons identifié deux dimensions principales : la fonction et la position du contenu holographique par rapport au contenu de premier intérêt affiché sur l'appareil mobile. Ce premier travail montre une grande richesse en termes de créativité pour proposer des améliorations possibles pour les appareils mobiles. Cependant, le manque de données quantifiables sur leur performance effective nous empêche encore de poser un avis objectif sur les réels avantages d'une telle association. Après avoir prototypé quelques exemples d'application pour démontrer leur faisabilité, nous nous sommes concentrés sur l'évaluation d'un cas spécifique : les composants d'interface (widgets) traditionnels des smartphones.Enfin, pour notre troisième question (QR3), nous nous projetons dans un futur dans lequel le champ de vision des utilisateurs contient fréquemment du contenu virtuel, et proposons une solution concrète pour que celui-ci n'interfère pas avec leur perception du monde réel. Pour cela, nous introduisons le concept de de-augmentation de la RA. Il s'agit de permettre aux utilisateurs de retirer volontairement certains éléments holographiques de leur champ de vision. Nous commençons par définir une taxonomie des opérations de dé-augmentation qui s'articule autour de trois dimensions : l'objet de la dé-augmentation, son déclencheur, et son rendu graphique. Nous illustrons ensuite ce concept au travers de trois scénarios démontrant l'utilité de telles opérations dans quelques situations particulières. Finalement, nous proposons une implémentation pratique de ce concept avec un prototype opérationnel, dont nous détaillons les différentes interactions qui permettent à l'utilisateur de définir une zone dé-augmentée. Ce dernier projet, plus théorique, ouvre des questionnements et des perspectives sur l'orientation des futurs systèmes de RA.

This manuscript describes the research topics I explored during my Ph.D. regarding the uses of Augmented Reality (AR) in everyday life. I tackle the three following research questions:RQ1 - How to reconsider interaction with wearable AR to better support long-lasting tasks?RQ2 - Can we provide guidelines on how a wearable AR device can enhance a handheld device?RQ3 - How can users be in control of what Augmented Reality tells them?The manuscript is divided into three parts respectively addressing each of these three research questions.To answer our first research question (RQ1), we present the ARPads project. An ARPad has no tangibility but represents a floating interaction plane on which users can move their hands to control a cursor displayed in an AR window. Such indirect input allows users to keep a comfortable posture while interacting with AR, as opposed to direct input that forces users to keep their arms in an upward position towards the content displayed in AR in front of them. After exploring a design space of these ARPads regarding their position and orientation relative to the user, we implement and empirically evaluate some promising combinations. Our results show that indirect input can achieve the same performance as direct input while limiting users' fatigue. From these results, we derive guidelines for future implementations.Regarding our second research question (RQ2), we focus on the association of wearable AR and mobile devices. We adopt a user-centered approach with a workshop organized with users of mobile devices. Based on the feedback derived from this workshop, we define a design space of smartphone-centric applications that could benefit from this association. In particular, we identify two main dimensions: the function and the location of the AR content relative to the main content displayed on the mobile device's screen. This first contribution highlights the creative ways to enhance mobile devices with AR. However, not much can be asserted regarding such enhancements without actual measures about their performance. After prototyping some use cases to show their feasibility, we evaluate some UI component distributions between a phone's screen and AR.Finally, we answer our last question by anticipating a future where users' field of view is frequently augmented with AR content. We introduce the concept of AR de-augmentation as a means to prevent this AR content from interfering with users' perception of the real world. AR de-augmentation gives users agency over the AR content. We first define a taxonomy of such de-augmentation operations regarding three aspects: its scope, its trigger, and its rendering. Then, we illustrate the concept of AR de-augmentation with three scenarios to demonstrate its usefulness in some specific use cases. Finally, we implement a working prototype in which we detail some interactions that allow users to define a de-augmented area. This last project is more theoretical and projective, opening questions and perspectives on future research directions.