Techniques d'assistance à la saisie de texte sur périphériques mobiles dans le cas de la déficience visuelle

Assistive techniques for next entry on mobile devices for the visually impaired

• Auteur / Autrice : Philippe Roussille
• Direction : Mathieu Raynal
• Type : Thèse de doctorat
• Discipline(s) : Image, information, hypermedia
• Date : Soutenance le 27/01/2017
• Etablissement(s) : Toulouse 3
• Ecole(s) doctorale(s) : École doctorale Mathématiques, informatique et télécommunications (Toulouse)
• Partenaire(s) de recherche : Laboratoire : Institut de Recherche en Informatique de Toulouse (1995-....)

Mots clés

Mots clés contrôlés

Téléphonie mobile

Saisie des données (informatique)

Troubles de la vision

Mots clés libres

Clavier

Mobile

Déficience visuelle

Handicap

Keyboard

Mobile

Visual impairement

Disability

Résumé

Au cours des 10 dernières années, les téléphones mobiles ont considérablement évolué~: l'apparition des écrans tactiles et la disparition des claviers physiques ont changé la façon dont nous interagissons au quotidien avec ces dispositifs. Pourtant, la saisie de texte demeure toujours une tâche importante avec des activités telles que la prise de notes, l'envoi de messages textuels ou la communication sur les réseaux sociaux. Cependant, bien que l'utilisation du tactile ait de grands avantages en termes de dynamicité de l'interface et de personnalisation, de tels dispositifs ne sont pas forcément accessibles pour tous. En effet, pour 39 millions de personnes dans le monde touchés par la cécité, les difficultés sont nombreuses avec ces dispositifs du fait que toutes les interactions se fassent au moyen de l'écran dépourvu de tout repère tactile : les interactions avec le dispositif sont possibles, mais elles sont souvent laborieuses et répétitives, ce qui implique alors une charge cognitive trop importante et des problèmes de précision, de mémorisation, et de fatigue. Dans ce travail de doctorat, nous nous sommes intéressés à l'accessibilité de la saisie de texte dans le contexte de la déficience visuelle. Dans un premier temps, nous avons étudié les différentes solutions actuellement existantes pour les utilisateurs en situation de déficience. La problématique principale de ces recherches était d'améliorer la saisie de texte pour permettre aux utilisateurs d'avoir de meilleures performances de saisie. Pour cela, nous avons conçu une solution déductive, appelée DUCK. Cette solution permet aux déficients visuels, de saisir rapidement du texte sans se soucier de la précision de leurs frappes. Un système à base de connaissances linguistiques permet à chaque fin de mot de déduire le mot que l'utilisateur a voulu saisir. Ce dispositif a ensuite été testé auprès d'un échantillon de déficients visuels afin de vérifier l'efficacité de notre solution. La suite des travaux s'est ensuite focalisée sur deux principales optimisations. La première concerne les listes de mots. Nous avons étudié et comparé différentes interactions pour permettre à l'utilisateur de naviguer et choisir des mots de façon efficace et simple lorsqu'il est face à une liste de mots proposée par un système de prédiction ou de déduction. La seconde se focalise sur la saisie des mots couramment utilisés. Nous avons également mené une étude comparative entre différentes propositions d'interaction permettant de saisir un mot court de façon efficace sans avoir recours au système de déduction, trop coûteux en temps pour ce type de mots. Enfin, nous terminons ce projet de doctorat par une étude longitudinale qui présente le clavier DUCK avec l'intégration de ces optimisations. Ce nouveau système a été utilisé par des déficients visuels sur une période de deux semaines afin d'étudier l'efficacité du clavier une fois ce dernier pris en main sur le long terme.

Over the past 10 years, mobile phones have evolved considerably : the advent of touch screens and the disappearance of physical keyboards have changed the way we interact with these devices in our daily lives. However, text input is still an important task though activities such as taking notes, sending text messages or communicating on social networks. However, while using touch screen has great advantages in terms of dynamical interfaces and customization, such devices are not necessarily accessible to all. Indeed, for 39 million people worldwide affected by blindness, there are many difficulties related to the devices that will make such interactions difficult due to the lack of tactile reference: interactions with the device are possible but they are often laborious and repetitive, which then implies a lot of cognitive load, accuracy, memory and fatigue related problems. In this PhD thesis, we focused on the accessibility of text input interactions in the context of visual impairment. First, we studied the currently existing solutions designed for impaired users. The main issue of this research was to improve text input so that users have a better typing experience. As such, we designed a deductive solution called DUCK. This solution allows visually impaired to quickly enter text without worrying about how accurate their input is. A basic language-based modelling system allows at the each end of a word what the user wanted to type. This device was then tested with a sample of visually impaired people to assess the effectiveness of our solution. Further work was subsequently focused on two main optimizations. The first work focused on word lists. We studied and compared different interactions to allow the user to navigate and choose words effectively and easily when faced with a list of words proposed by a predictive or deductive system. The second optimization focuses on entering commonly used words. We also conducted a comparative study of different interactions models to type a short word efficiently without using the deduction system, which would be too time consuming for such words. Finally, we finish this PhD project by a longitudinal study that shows the DUCK keyboard with the integration of these optimizations. This new system has been used by visually impaired over a period of two weeks to study the effectiveness of the keyboard over the long term.