Interaction Tangible pour les Murs d'Écran

Tangible Interaction for Wall Displays

• Auteur / Autrice : Emmanuel Courtoux
• Direction : Caroline Appert, Olivier Chapuis
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 11/04/2023
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire interdisciplinaire des sciences du numérique (Orsay, Essonne ; 2021-....)
• Partenaire(s) de recherche : référent : Faculté des sciences d'Orsay
• Partenaire(s) de recherche : graduate school : Université Paris-Saclay. Graduate School Informatique et sciences du numérique (2020-....)
• Jury : Président / Présidente : Myriam Lewkowicz
• Jury : Examinateurs / Examinatrices : Jan Borchers, Martin Hachet, Anke M. Brock
• Jury : Rapporteurs / Rapporteuses : Jan Borchers, Martin Hachet

Mots clés

Mots clés contrôlés

Interaction multimodale

Interaction humain-machine

Écrans tactiles

Mots clés libres

Mur d'écrans

Interaction Tangible

Interaction Humain Machine

Wall-Sized display

Tangible Interaction

Human Computer Interaction

Résumé

Les murs d'écrans plongent les utilisateurs dans de larges espaces d'informations ultra-haute résolution. Ils sont bien adaptés à l'analyse de grands ensembles de données car les utilisateurs peuvent se déplacer physiquement pour explorer ce qui est affiché à l'écran. Ils facilitent également la collaboration car leur taille permet facilement d'accueillir plusieurs utilisateurs à la fois. Cependant, créer des interactions efficaces avec les murs d'écrans est un défi. Les périphériques traditionnels tel que le clavier et la souris montre vite leur limite dans un contexte ou plusieurs utilisateurs interagissent et se déplacent librement.La littérature en IHM propose des moyens d'interaction alternatifs. En particulier, l'interaction tangible, qui s'appuie sur la manipulation d'objets physiques pour interagir avec des scènes virtuelles, offre des avantages intéressants pour les murs d'écrans. La matérialité des contrôleurs offre un retour haptique qui permet de les manipuler sans les regarder. Leur forme suggère aussi la manière de les attraper et de les manipuler, guidant les utilisateurs sur leurs fonctionnalités. De nombreuses études empiriques comparant les contrôleurs tangibles à d'autres formes d'interaction montrent qu'ils procurent des gains significatifs en termes de vitesse et de précision de manipulation.Cependant, fabriquer des contrôleurs tangibles pour les murs d'écrans est difficile. Tout d'abord, l'orientation de l'écran et sa taille doivent être prise en compte pour fabriquer des tangibles appropriés. De plus, les utilisateurs sont mobiles : ils s'éloignent pour obtenir un angle de vue plus large, se rapprochent pour voir plus de détails, ou ajustent leur position en fonction de celle des autres utilisateurs. Les contrôleurs tangibles doivent donc être conçu pour être utilisable quelle que soit la position de l'utilisateur dans la pièce. Enfin, un mur d'écrans est souvent situé dans un contexte rassemblant d'autres dispositifs (tables interactives, ordinateurs, etc.). Dans ce cas, il est nécessaire de prendre en compte l'ensemble du contexte, contraignant la forme des tangibles et les technologies sous-jacentes.Mon travail de thèse propose trois contributions pour faciliter l'interaction tangible avec les murs d'écrans.Mon premier projet, WallTokens, propose des tangibles qui permettent d'interagir sur la surface des murs d'écrans. Les WallTokens sont équipés d'un mécanisme qui permet aux utilisateurs de les attacher et de les détacher facilement de la surface du mur. Cela permet de les laisser en place lorsque les utilisateurs veulent libérer leur main pour d'autres tâches. Nous présentons deux études évaluant la facilité d'utilisation et l'efficacité des WallTokens. Nos résultats montrent qu'ils sont plus précis et plus confortables que les interactions tactiles pour effectuer des manipulations de bas niveau sur mur d'écrans.Mon deuxième projet, SurfAirs, propose des tangibles permettant des interactions avec les murs d'écrans en surface, quand les utilisateurs ont besoin de détails et de précision, mais aussi à distance quand ils ont besoin d'un grand angle de vue. Les SurfAirs permettent également une transition continue entre ces deux modes d'interaction. Nous présentons deux études qui comparent les SurfAirs avec des gestes à main nue pour effectuer des tâches de manipulation de bas niveau. Les SurfAirs sont plus performants que les gestes à main nue en termes de précision et de vitesse et les utilisateurs les préfèrent.Le troisième projet propose une étude de la littérature sur l'utilisation de contrôleur tangible avec des écrans. Chaque article étudié est classifié selon 12 dimensions qui reflètent les aspects de la conception du contrôleur et de l'écran. Nous proposons un outil Web qui permet l'exploration de notre corpus d'articles à travers ces dimensions de classification. Nous discutons ensuite les défis qui sous-tendent la conception de contrôleurs tangibles dans un environnement multi-écrans.

Wall displays immerse users in large, high-resolution information spaces. They are well suited for data analysis, as users only need to move around the physical space to explore the virtual information space displayed on the wall. They also facilitate collaboration as their large physical size can accommodate multiple users. However, designing effective ways of interacting with wall displays is challenging. Traditional input devices, such as mice and keyboards, quickly show their limitations in an environment where multiple users can interact and move freely.HCI literature offers interesting alternatives to traditional input techniques. In particular, Tangible User Interactions (TUIs), where users rely on custom tangible objects to interact with the virtual scene, have proved efficient with different types of displays ranging from smartphones to tabletops. Tangible controllers have natural advantages such as the haptic feedback they provide that enables eyes-free manipulations. They also afford specific grasps and manipulations, guiding users on what they can do with them. Empirical studies that compare tangibles to other forms of input also report quantitative gains in regarding manipulation speed and precision in different hardware setups.However, designing tangible controllers for wall displays is difficult. First, the large size and vertical orientation of walls must be taken into account to design tangibles with a suitable form factor. Second, users move in space. They move away to get a wider view, move closer to see details, or adjust their physical position based on other users and objects in the room. This means that tangible controllers must be usable regardless of the user's position in the room, which has some impact on design and engineering aspects. Finally, a wall display is often located in an environment that feature other devices and displays. In such cases, designing tangible controllers for a wall display requires to consider the whole multi-display environment, which constrains even more the tangibles' form factor and the underlying technologies.My thesis work makes three contributions towards enabling tangible interaction with wall displays.The first project, WallTokens, contributes tangibles for enabling on surface interaction with wall displays. WallTokens are low-cost, passive controllers that users can manipulate directly on the wall's surface. WallTokens have a mechanism that allows users to easily attach and detach them from the wall surface, so that when users are done interacting, they can leave them in place and free their hands for other purposes. We report on two studies assessing WallTokens' usability, showing that they are more precise and comfortable than bare-hand gestures to perform low-level manipulations on walls.The second project, SurfAirs, contributes tangibles that support not only on surface interaction but also distant interaction with wall displays. We present two possible designs for versatile tangible controllers that can be used both on the wall surface when users need precision and detail, and in the air when they need a wide viewing angle. SurfAirs support both types of input, as well as smooth transitions between the two. We report on two studies that compare SurfAir prototypes with bare hand gestures for performing low-level manipulation tasks. SurfAirs outperform bare hand gestures regarding accuracy, speed and user preference.The third project contributes a survey about the use of physical controllers to interact with a physical display. Each project is described along twelve dimensions that capture the design aspects of the controller, the properties of the display and how they communicate with each other. We contribute a Web page to explore this list of references along the different dimensions, and use it to discuss the challenges that underlie the design of tangible controllers in a multi-display environment.