interaction gestuelle sans regarder avec un téléphone en utilisant le retour haptique

eyes-free gestural interaction with smartphone using haptic feedback

• Auteur / Autrice : Milad Jamalzadeh
• Direction : Laurent Grisoni
• Type : Projet de thèse
• Discipline(s) : Informatique et applications
• Date : Inscription en doctorat le 01/02/2021
• Etablissement(s) : Université de Lille (2022-....)
• Ecole(s) doctorale(s) : MADIS Mathématiques, sciences du numérique et de leurs interactions
• Partenaire(s) de recherche : Laboratoire : CRIStAL - Centre de Recherche en Informatique, Signal et Automatique de Lille

Mots clés

Mots clés libres

Interaction sans regard

Interaction basée sur les gestes

Retour haptique

Interaction avec smartphone

Scénarios d'incapacité situationnelle

Interaction à une main

Eyes-Free Interaction

Gesture-Based Interaction

Haptic Feedback

Interaction with smartphone

Situational impaired scenarios

One-handed interaction

Résumé

Les smartphones sont devenus essentiels à la vie moderne et jouent un rôle crucial dans diverses situations, même lorsque les utilisateurs ne peuvent pas se concentrer pleinement sur l'appareil. Dans des scénarios où l'attention visuelle est divisée, comme la conduite, la capacité de dessiner des gestes avec une main sur un écran tactile sans regarder le téléphone est très bénéfique. Ces gestes permettent aux utilisateurs d'effectuer des actions telles que répondre aux appels ou envoyer des messages prédéfinis sans effort. De plus, le retour haptique peut partiellement remplacer le retour visuel dans des situations de déficience visuelle. Il peut informer les utilisateurs des entrées réussies ou fournir des informations sans nécessiter d'attention visuelle. Cette thèse explore l'amélioration de l'interaction gestuelle à une main et sans regarder avec les smartphones grâce au canal haptique, et est structurée en plusieurs études abordant différents aspects de cette interaction. Nous commençons par étudier la production de gestes sans regarder dans divers scénarios de déficience situationnelle, montrant les différences entre la production de gestes sans regarder et avec une vue directe sur le téléphone. Ensuite, deux études examinent l'impact des facteurs environnementaux, tels que la vitesse de déplacement de l'utilisateur, la localisation du téléphone et le multitâche, sur la production de gestes sans regarder. Nous trouvons que sous une tâche saturant l'attention, les utilisateurs produisent les gestes plus rapidement, alors que lors d'une tâche physiquement exigeante, le mouvement du doigt est plus rapide mais sur une zone plus petite. Trois autres études visent à améliorer l'entrée gestuelle sur les écrans tactiles en utilisant le retour haptique dans des scénarios de déficience visuelle. Nous examinons d'abord le retour haptique pour la production gestuelle sur un smartphone dans une poche. Puis, nous comparons le retour localisé du moteur de vibration du smartphone au retour distant d'une montre connectée, et constatons que le retour localisé améliore la confiance des utilisateurs pour produire des gestes. Enfin, nous améliorons la tâche de ciblage sur un bouton virtuel avec des textures haptiques, augmentant les performances des utilisateurs dans cette tâche. Nous explorons aussi l'utilisation du retour haptique pour améliorer la sortie de l'interaction, avec le concept Hap2Gest qui combine gestes sans regarder et retour haptique. Une étude d'élicitation montre une préférence pour les gestes avec des coins nets, et nous testons le retour haptique sur des gestes circulaires. Nous constatons que les utilisateurs perçoivent la longueur des arcs circulaires comme plus courte qu'elle ne l'est réellement. De plus, la récupération des données numériques à partir de gestes circulaires montre des variations significatives dans les formes des arcs produits librement, menant à des estimations inexactes de leur position. Nous recommandons donc l'utilisation de gestes avec des coins nets pour Hap2Gest. Cette thèse contribue au domaine de l'interaction humain-machine en fournissant une analyse complète du retour haptique dans les interactions gestuelles sans regarder. Les résultats offrent des informations précieuses pour concevoir des techniques d'interaction efficaces et améliorer l'utilisabilité des smartphones dans des scénarios de déficience visuelle.

Sure, here is the abstract without the textit formatting: --- Smartphones have become integral to modern life and play a crucial role in various situations, even when users cannot fully focus on the device. In scenarios where visual attention is divided, such as driving, the ability to draw gestures with one hand on a touchscreen without looking at the phone is highly beneficial. These gestures allow users to perform actions like answering calls or sending predefined messages effortlessly. In addition, haptic feedback can partially substitute for visual feedback in visually impaired situations. Haptic feedback can inform users of successful inputs or provide information without requiring visual attention. In this context, this thesis explores the enhancement of one-handed and eyes-free gestural interaction with smartphones through the haptic channel. The research is structured into multiple studies, each addressing different aspects of eyes-free gesture-based interaction with touchscreens. First, we investigate the production of eyes-free gestures in various situational impairment scenarios. We show differences between how users produce gestures on smartphones in an eyes-free context compared to gestures made when they have direct sight of the phone. This is followed by two studies investigating how environmental factors, such as user movement speed, phone location, and multitasking, affect the production of eyes-free gestures. In the presence of an attention saturating task, users finish producing gestures in a shorter time. However, when a user is involved in a physically demanding task, their finger moves faster in a smaller area. We then carried out three studies with the aim of improving gestural input on touchscreens using haptic feedback in visually impaired scenarios. We first examine the efficiency of haptic feedback for gestural input on a smartphone placed inside a pocket. Then, we compare localized feedback from the smartphone vibration motor against distal feedback from a smartwatch. The findings suggest that providing the user with continuous haptic feedback improves user confidence in gesture input, with localized feedback preferred. Then, we focused on improving the targeting task on a virtual knob in the presence of an attention-saturating task. Our results showed that the use of background haptic texture on the perimeter of the virtual knob plus haptic texture on the detents increases the performance of users in targeting task on the knob. Then, we focus on using haptic feedback to improve the output part of the interaction. We present Hap2Gest, an interaction concept for smartphones using eyes-free gestures and haptic feedback. Users draw a gesture to invoke a command and receive information through haptic feedback on a subsequent gesture. An elicitation study showed a preference for gestures with clear corners. Circular gestures were also popular in some scenarios, so we tested haptic feedback on free-hand circular gestures. First, we assessed users' perception of the length of eyes-free circular gestures, finding that they perceive the arc length as shorter than it is. Next, we tested users' ability to retrieve numerical data on circular gestures using the Hap2Gest method. The results showed significant variation in the shapes of freely produced arcs, leading to inaccurate estimates of the arc's location. Thus, we recommend using gestures with clear corners for the Hap2Gest interaction technique. This thesis contributes to the field of human-computer interaction by providing a comprehensive analysis of haptic feedback in eyes-free gesture-based interactions. The findings offer valuable insights for designing effective interaction techniques and improving the usability of smartphones in visually impaired scenarios.