Conception et évaluation de techniques d'interaction non-visuelle basées sur un dispositif personnel : application à l'exploration de cartes numériques par des personnes avec déficience visuelle

Design and evaluation of non-visual interaction techniques based on a personal device : application to the exploration of digital maps by people with visual impairment

• Auteur / Autrice : Sandra Bardot
• Direction : Christophe Jouffrais
• Type : Thèse de doctorat
• Discipline(s) : Informatique et Télécommunications
• Date : Soutenance le 11/06/2019
• Etablissement(s) : Toulouse 3
• Ecole(s) doctorale(s) : École doctorale Mathématiques, informatique et télécommunications (Toulouse)
• Partenaire(s) de recherche : Laboratoire : Institut de Recherche en Informatique de Toulouse (1995-....)

Mots clés

Mots clés contrôlés

Internet des objets

Interaction humain-machine

Handicapés visuels

Mots clés libres

Interaction homme-machine

Déficience visuelle

Exploration de cartes

Montre connectée

Human-computer interaction

Visually impairment

Map exploration

Smartwatch

Résumé

Pour les personnes déficientes visuelles, les documents en relief sont importants pour l'accès à la connaissance. Afin de répondre aux spécificités de la perception haptique, il est nécessaire de simplifier la quantité d'information disponible au sein d'un document en relief. Ce processus s'appelle l'adaptation du contenu et repose sur l'intervention d'un spécialiste qui sait concevoir un contenu adapté à l'exploration tactile et à la compétence des utilisateurs. Comme la modification est impossible, celui-ci doit être refait à chaque changement. Ainsi, la possibilité d'utiliser et d'explorer un contenu numérique plutôt que physique représente une alternative intéressante. Un grand nombre de données numériques en accès libre est disponible, et l'adaptation des données peut être réalisée grâce à des algorithmes prévus à cet effet. Cependant, les documents numériques sont par essence visuels, et par conséquent inaccessibles aux personnes déficientes visuelles en l'état. L'état de l'art concernant l'exploration haptique de données numériques fait apparaitre un ensemble de solutions reposant sur un artefact (comme une souris à retour de force). Cette approche présente de nombreuses limitations, notamment le fait de parcourir le document avec un seul point de contact. Une approche plus fonctionnelle consiste à laisser l'utilisateur explorer un graphique numérique avec ses mains : chaque doigt peut alors être considéré comme un curseur. Les feedback sonore et vibratoire sont déclenchés en fonction de la position du doigt sur le document numérique. Cependant, il est nécessaire de connaitre les éléments importants d'un graphique (c'est-à-dire les éléments qui déclencheront des feedbacks), ainsi que le rôle de chacun des doigts au cours de l'exploration. La problématique de cette thèse porte sur l'exploration des données spatiales numériques en reposant sur des interactions haptiques. L'objectif est double : 1) comprendre comment les personnes déficientes visuelles explorent les graphiques en relief ; et 2) proposer des techniques d'interaction haptique, basées sur des dispositifs personnels et transportables, qui permettent aux utilisateurs déficients visuels d'explorer des graphiques numériques dans différents contextes (à la maison ou à l'école par exemple). Pour répondre au premier point, nous avons réalisé deux études portant sur les stratégies d'exploration des documents en relief, en fonction du niveau d'expertise des utilisateurs. Nous avons montré que les stratégies utilisées dépendent de l'expertise mais aussi du type de document exploré. Pour répondre au deuxième point, nous avons proposé de nouvelles techniques d'interaction reposant sur l'utilisation d'une montre connectée qui permet des feedbacks localisés. Nous avons mené deux études expérimentales concernant la conception et l'évaluation de techniques d'interaction haptiques basées sur la montre. La première étude portait sur la comparaison de l'exploration de graphiques physiques (en relief) à celle de graphiques numériques virtuels. Les résultats montrent que deux de nos techniques d'interaction permettent une exploration de graphiques numériques plus rapide que l'exploration de graphiques en relief. Notre deuxième étude visait à développer et évaluer des techniques d'interaction permettant l'utilisation des deux mains lors de l'exploration de contenus numériques. Les résultats montrent que les stratégies bimanuelles reposant sur un feedback bilatéral localisé améliorent les performances d'exploration de graphiques numériques. Les résultats de ces études mettent en avant les avantages d'une interaction haptique bimanuelle. Combinées à un dispositif de localisation et de suivi des mains, les techniques d'interaction développées sur une montre connectée pourraient permettre aux utilisateurs d'interagir avec des contenus numériques dans de nombreuses situations de la vie quotidienne.

For visually impaired people, raised-line documents are important for access to knowledge. In order to respond to the specificities of haptic perception, it is necessary to simplify the amount of information available within a raised-line document. This process is called the adaptation of the content and relies on the intervention of a specialist who knows how to design content adapted to tactile exploration. As the modification is impossible, it must be printed again at each changes. Thus, the ability to use and explore digital rather than physical content is an interesting alternative. A large number of free access numerical data is available, and the adaptation of the data can be carried out by means of algorithms provided for this purpose. However, digital documents are essentially visual, and therefore inaccessible to visually impaired people as they are. The state of the art regarding haptic exploration of digital data reveals a set of solutions based on an devices (like a force feedback mouse). This approach has many limitations, including browsing the document with a single point of contact. A more functional approach is to let the user explore a digital graph with his hands: each finger can then be considered as a cursor. Feedback audio and vibration are triggered depending on the position of the finger on the digital document. However, it is necessary to know the important elements of a graph (the elements that will trigger feedback), as well as the role of each finger during the exploration. The problematic of this thesis deals with the exploration of digital spatial data by relying on haptic interactions. The goal is twofold: 1) understand how visually impaired people explore raised-line diagrams; and 2) offer haptic interaction techniques, based on personal and wearable devices, that allow visually impaired users to explore digital diagrams in different contexts (at home or at school, for example). To answer the first point, we conducted two studies on the exploration strategies of raised-line documents, according to the level of expertise of the users. We have shown that the strategies used depend on the expertise but also the type of document explored. To answer the second point, we proposed new interaction techniques based on the use of a smartwatch that allows localized feedback. We conducted two experimental studies regarding the design and evaluation of watch-based haptic interaction techniques. The first study focused on comparing the exploration of physical diagrams with that of virtual digital diagrams The results show that two of our interaction techniques allow for faster digital graphics exploration than the exploration of 3D graphics. Our second study aimed to develop and evaluate interaction techniques allowing the use of two hands while exploring digital content. The results show that bimanual strategies based on localized feedback improve digital diagrams exploration performance. The results of these studies highlight the benefits of bimanual haptic interaction. Combined with a device for tracking and tracking hands, interaction techniques developed on a connected watch could enable users to interact with digital content in many situations of everyday life.