Améliorer l'expressivité des interfaces d'entrée par des interactions tactilo-kinesthésiques à multiples composantes

Increasing input interaction expressiveness using eyes-free multi-finger interaction

• Auteur / Autrice : Gauthier Faisandaz
• Direction : Laurence Nigay, Christophe Jouffrais
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le ; Soutenance le 18/11/2024
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale mathématiques, sciences et technologies de l'information, informatique
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'Informatique de Grenoble
• Partenaire(s) de recherche : Equipe de recherche : IIHM - Ingénierie de l'Interaction homme-machine
• Jury : Président / Présidente : Sophie Dupuy-chessa
• Jury : Examinateurs / Examinatrices : Isabelle Pecci, Celine Lemercier, Gilles Bailly, Sabrina Paneels
• Jury : Rapporteur / Rapporteuse : Isabelle Pecci, Celine Lemercier

Mots clés

Mots clés libres

Interface d'entrée

Interface tactile multi-point

Micro-geste

Multimodalité

Interaction Humain-Machine (IHM)

Microgesture

Multi-touch

Multimodality

Input interaction

Human-Computer Interaction (HCI)

Résumé

Dans nos sociétés fondées sur la capacité de voir, les Personnes ayant une Déficience Visuelle (PDV) doivent s’appuyer sur des technologies d'assistance (TA) pour interagir avec leur environnement et accéder à divers contenus. Pourtant les taux d'abandon et de non-utilisation des TA traditionnelles sont élevés en raison de facteurs tels que leur disponibilité, leur coût et leur acceptabilité sociale. C’est pourquoi les appareils à écran tactile (AET) grand public (smartphones, tablettes) sont de plus en plus utilisés par les PDV en raison de leur démocratisation et leur coût abordable. Ces AET ont des fonctionnalités multiples et peuvent exécuter de nombreuses applications d'assistance, pouvant remplacer plusieurs TA spécialisées. Mais l'accessibilité des AET pose problème en raison de leur dépendance au canal visuel. Sans la vue, difficile de viser les éléments composant une interface graphique. Dans ces conditions l’interaction se résume à des gestes simples utilisables sans la vue (Taps, Swipes directionnels) à l’expressivité réduite. De plus pour les PDV l’accessibilité des AET repose sur des applications appelées Lecteurs d'Écran qui lisent le contenu affiché à l'écran (retour visuel 2D) sous la forme d’une liste d'éléments (retour auditif 1D). Bien que les PDV puissent ainsi accéder au contenu numérique et interagir avec, chaque élément doit être lu un par un, augmentant le temps et le nombre d'interactions nécessaires pour déchiffrer ce contenu. Effectuer une action complexe (copier/coller) est encore plus long car l’utilisateur doit naviguer pas à pas dans des menus jusqu’à trouver les actions adéquates. C’est pourquoi nous explorons la possibilité d’ajouter un autre moyen d’interaction – les microgestes (µG) TTF (Thumb-To-Finger) – pour augmenter l’expressivité des AET en situation de non-retour visuel. 4 swipes directionnels combinés à seulement 2 µG TTF (le pouce touchant l'index ou le majeur) pourraient fournir 12 commandes : 4 swipes sans que le pouce ne touche aucun doigt, 4 swipes tandis que le pouce touche l’index, 4 swipes lorsqu’il touche le majeur. A l’instar des raccourcis clavier sur ordinateur les µG TTF pourraient raccourcir les interactions pour effectuer des actions courantes. Nos travaux portent donc sur la faisabilité et l’utilité des µG TTF lorsqu'ils sont utilisés avec des AET sans retour visuel. Premièrement, nous avons mené une étude afin d’évaluer la faisabilité de 33 µG TTF parmi les plus courants dans la littérature. Nos résultats mettent en évidence 8 µG TTF particulièrement performants pouvant être utilisés simultanément avec un AET sans retour visuel. Puis, nous illustrons à travers 3 scénarios d'utilisation concrets l’usage et l’utilité de ces 8 µG TTF pour résoudre des problèmes courants auxquels sont confrontés les PDV lors de l'utilisation d'AET : Le premier scénario se base sur l'exploration d'un document audio-tactile, exploitant les µG TTF pour déclencher des commandes et des retours d'informations sans interrompre le contact avec la surface de l’AET, améliorant ainsi la fluidité de l'exploration. Le deuxième scénario se base sur une tâche de réorganisation d'icônes. Ici les µG TTF servent à accéder rapidement aux fonctionnalités de copier/coller et permettent ainsi de raccourcir les trajectoires d'interaction. Enfin, le troisième scénario se base sur une tâche de sélection de texte, une autre activité fastidieuse pour les PDV en raison des menus hiérarchiques imposés par les outils d'accessibilité. Les µG TTF permettent d'augmenter l'expressivité de l’AET, simplifiant la sélection de texte en shuntant l’utilisation des menus. Nos résultats indiquent que les µG TTF sont prometteurs pour améliorer l'efficacité et l'accessibilité des interactions sur AET en situation de non-retour visuel. En démultipliant l'expressivité, ils diminuent le temps et le nombre d’actions nécessaires à la réalisation de diverses tâches d’ordinaire boudées par les PDV à cause de leur difficulté d’utilisation.

In our visually-oriented societies, people with visual impairments (PVI) face significant challenges in their daily lives. For PVI, assistive technologies (AT) play a crucial role in facilitating their interaction with their environment and accessing various content. However, abandonment rates and non-usage of traditional AT are high due to factors such as availability, cost, and social acceptance. This is why mainstream touchscreen devices (MTDs) like smartphones and tablets are increasingly utilized by PVI due to their affordability and widespread availability. Besides, MTDs offer diverse functionalities and can replace the need for multiple specialized AT. Nevertheless, the accessibility of MTDs presents issues due to their reliance on visual input. Without vision, it becomes challenging to target elements within a graphical user interface. In such situations, interactions are limited to simple gestures that can be executed without visual feedback, such as taps and directional swipes, which reduces expressiveness. Additionally, for PVI, MTD accessibility relies on applications known as ''screen readers'', which audibly present the screen's 2D visual content as a 1D auditory list of elements. Although this allows PVI to access digital content and interact with it, each element must be processed one by one, increasing the time and interactions needed to decipher the content. Performing complex actions like copy-paste becomes even more time-consuming as users must navigate step-by-step through menus to find the desired functions. To address these issues, we explore the possibility of introducing an additional means of interaction: Thumb-To-Finger (TTF) microgestures (µG), aimed at enhancing MTD expressiveness in situations where visual feedback is absent. For instance, by combining four directional swipes with just two TTF µG (thumb touching the index or middle finger), it is possible to generate 12 commands: four swipes without the thumb touching any finger, four swipes with the thumb touching the index, and four swipes with the thumb touching the middle finger. Similar to keyboard shortcuts on a computer, TTF µG have the potential to streamline interactions for common tasks. Hence, our research focuses on the feasibility and utility of TTF µG when used in conjunction with MTDs and without visual feedback. Initially, we conducted a study to assess the feasibility of 33 commonly mentioned TTF µG in the literature. Our results identified 8 particularly effective TTF µG that can be used concurrently with a MTD in a eyes-free situation. Subsequently, we demonstrate, through three practical usage scenarios, how these eight TTF µG can effectively address common challenges faced by PVI when using MTDs: The first scenario revolves around exploring an audio-tactile document, using TTF µG to trigger commands and provide localized audio feedback without interrupting contact with the MTD's surface, thereby enhancing exploration fluidity. The second scenario involves rearranging a grid of icons. Here, TTF µG serve as commands to swiftly access copy-paste functionalities, thus shortening interaction paths. Lastly, the third scenario pertains to text selection, a cumbersome task for PVI due to hierarchical menus imposed by accessibility tools. TTF µG enhance MTD expressiveness, simplifying text selection and bypassing menu usage. Our results indicate that TTF µG show promise in improving the efficiency and accessibility of interactions on MTDs in the absence of visual feedback. By enhancing expressiveness, they reduce the time and actions required to perform various tasks that are typically avoided by PVI due to their complexity when using default accessibility tools.