Développement d'un retour haptique localisé sur des surfaces interactives avec la méthode de filtre inverse et son évaluation sur une étude de cas de lecture en Braille Perkins

Development of localised haptic feedback on interactive surfaces with the Inverse Filter method and its evaluation on a Perkins Braille reading case study

• Auteur / Autrice : Lucie Pantera
• Direction : Jean-Luc Zarader
• Type : Thèse de doctorat
• Discipline(s) : Sciences mécaniques, acoustiques et haptiques
• Date : Soutenance le 13/07/2022
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Sciences mécaniques, acoustique, électronique et robotique de Paris (2000-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'Interfaces Sensorielles et Ambiantes
• Jury : Président / Présidente : Christophe Jouffrais
• Jury : Examinateurs / Examinatrices : Vincent Hayward, Sinan D. Haliyo
• Jury : Rapporteurs / Rapporteuses : Mounia Ziat, Frédéric Giraud

Mots clés

Mots clés contrôlés

Conception centrée sur l'utilisateur

Interaction humain-machine

Vibrations

Toucher

Handicapés visuels

Accessibilité aux handicapés

Écrans tactiles

Mots clés libres

Haptique

Retour-vibratoire

Localisé

Filtre Inverse

Multitouch

Mal voyant

Braille Perkins

Haptic

Feedback

Localised

Résumé

Les surfaces tactiles ont envahi notre quotidien. La plupart des smartphones sont désormais presque entièrement tactiles. Malheureusement, ces surfaces tactiles sont inertes et manquent de retour haptique riche, de sorte que l'utilisateur est contraint d'interagir principalement par la vision. Actuellement, ces interactions avec les écrans tactiles sont le plus souvent réalisées avec un seul doigt. Cependant, il serait avantageux de pouvoir interagir avec plusieurs doigts en même temps pour effectuer une tâche. Actuellement, les smartphones peuvent être dotés d'une entrée multi-doigts mais ne peuvent pas combiner un retour vibratoire avec cette entrée multi-doigts. Ils fournissent un retour sous la forme d'une vibration globale, c'est-à-dire que la vibration se propage dans la surface et que deux doigts en contact simultanément sur la surface reçoivent la même information vibratoire. Pouvoir faire un rendu localisé des feedbacks haptiques pourrait ouvrir de nouvelles possibilités d'interaction. Deux personnes utilisant simultanément le même écran pourraient ressentir des vibrations très indépendantes. Cependant, l'ajout d'un tel retour vibrotactile multitouch localisé à un écran tactile n'est pas simple, en raison des problèmes de vibration, de propagation, de réverbération et d'atténuation. Par conséquent, la question de recherche abordée par cette thèse est de savoir comment localiser physiquement ces vibrations pour obtenir un rendu multitouch sur une surface tactile, en vue d'une intégration future dans des dispositifs couramment utilisés. Cette thèse a donc étudié et développé une nouvelle méthode de retour vibratoire multitouch localisé pour résoudre ces problèmes. Cette approche est basée sur le contrôle actif des vibrations qui se propagent dans la surface. En effet, comme mentionné précédemment, lorsque le doigt touche la surface, il va recevoir un retour vibratoire. Cependant, cette vibration ne reste pas concentrée au point de contact mais se propage dans toute la surface, se réverbère et finit par s'éteindre. En effet, la longueur d'onde dans une surface de verre de 1 mm d'épaisseur à une fréquence de 250 Hz est d'environ 15 cm, il n'est donc pas possible de faire un rendu localisé en dessous de cette longueur d'onde. L'objectif de cette thèse était de dépasser cette limite afin d'obtenir une résolution plus fine de l'ordre du centimètre, c'est-à-dire de la taille du bout du doigt. L'approche décrite dans cette thèse, appelée méthode du Filtre Inverse, a permis de dépasser cette limite et de localiser les vibrations avec une résolution de 1 cm, bien en dessous de la longueur d'onde. Un premier prototype a été développé avec 14 actionneurs piézoélectriques de diamètre 20 mm, collés sous la surface pour appliquer la méthode du Filtre Inverse, bien connue dans le domaine médical par exemple, au domaine de l'haptique. La méthode du Filtre Inverse est une technique de contrôle des vibrations, qui permet de contrôler la valeur du champ acoustique à des positions choisies. A travers ce travail de thèse, la méthode du Filtre Inverse a été appliquée pour la première fois dans le domaine de l'haptique afin de localiser les vibrations en tout point d'une plaque et pas seulement au-dessus des actionneurs piézoélectriques, comme cela avait été réalisé précédemment. Les résultats ont démontré qu'il était effectivement possible de rendre un retour vibrotactile indépendant à plusieurs endroits prédéfinis simultanés, autres qu'au-dessus des actionneurs. Les premières expériences sur le prototype ont montré qu'il était également possible de choisir les caractéristiques du retour vibrotactile, contrairement aux travaux existants où seuls certains paramètres sont variables. [...]

Our interaction with touchscreens is limited, relying mostly on sight and hearing. Yet, providing tactile feedback can greatly enhance interaction, making it more natural and immersive, for example for keyboard typing or texture rendering. However, providing rich vibratory feedback on a surface is technically difficult. Standard approaches (i.e. present in our smartphones) vibrate the entire screen: the vibrations are therefore not localised and it is therefore impossible to provide a distinct vibratory feedback for each finger in contact with the surface, which limits the possible feedbacks and thus their diversity and richness. In this thesis, a new method called the Inverse Filter method is proposed, which, coupled with an array of piezoelectric actuators glued under a glass surface, allows to localise vibrations on this surface. It can achieve a resolution from 5 mm to 15 mm and the different parameters of the vibrations, namely the waveform, amplitude and location of the vibration, can be controlled to tune the vibration. By adding a capacitive screen to the glass surface and combined with an interpolation method, it is possible to retrieve the position of the fingers and send a localised vibratory feedback to different fingers in realtime. Beyond the development of the technology, user studies have been conducted. Indeed, this technology can not only improve the interaction with our smartphones and tablets, but especially benefit visually impaired people. Currently, it is not possible to display Braille on a touchscreen with vibrations because it requires a resolution of 2 mm. On the other hand, it is possible to display Perkins Braille, normally used for writing, which mobilises the index, middle and ring fingers of both hands (and thus a resolution of 1 cm). A user study, validated by the ethics committee of Paris-Saclay, was conducted in different stages to test different methods of presenting the letters of the alphabet and eventually convey words, and to gather feedback from the visually impaired users. The user study demonstrated the potential for the technology, as visually impaired participants managed to read both letters and words, but also the need to find the suitable presentation methods and parameters. Overall, the technology was well accepted by the users, who foresaw an interest for short messages such as time or notifications, for e.g. at bus stops.