Interaction directe et expressive sur le bureau : améliorer la granularité, l'étendue et la dimensionnalité des actions de l'utilisateur

Direct and expressive interaction on the desktop : increasing granularity, extent, and dimensionality

• Auteur / Autrice : Jonathan Aceituno
• Direction : Nicolas Roussel
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 15/10/2015
• Etablissement(s) : Lille 1
• Ecole(s) doctorale(s) : École doctorale Sciences pour l'ingénieur (Lille)
• Partenaire(s) de recherche : Laboratoire : Centre de Recherche en Informatique, Signal et Automatique de Lille

Mots clés

Mots clés contrôlés

Gestes

Instruments de musique électroniques

Manipulation

Souris (informatique)

Fonctions de transfert

Ordinateurs -- Équipement d'entrée-sortie

Interaction humain-machine

Mots clés libres

Directitude

Expressivité

Pointage à petite échelle

Défilement

Résumé

L’ordinateur personnel, de bureau ou portable, permet le travail intellectuel et les activités créatives à travers une interaction directe et expressive. Mais l’impression de “directitude” disparaît quand les actions deviennent complexes, et l’expressivité est souvent favorisée au détriment d’une séparation spatiotemporelle, d’une charge cognitive, ou de suites complexes d’opérations. Cette thèse propose de mieux exploiter les périphériques d’entrée standard de façon à augmenter de façon directe la granularité, l’étendue, et la dimensionnalité des actions utilisateur. Nous montrons d’abord que la granularité des mouvements du pointeur peut être augmentée sans déranger son fonctionnement habituel si la fonction de transfert du pointage prend en compte les périphériques, les capacités de l’utilisateur, et le modèle de données manipulé. Une limite de l’interaction subpixel ainsi permise est la résolution utile (le plus petit déplacement pouvant être produit avec un périphérique), pour laquelle nous proposons un protocole expérimental.Nous étudions ensuite l’edge-scrolling, une technique qui étend le déplacement d’objets et la sélection au-delà des limites d’une vue en la faisant défiler. Nous montrons plusieurs problèmes d’utilisabilité par l’examen de 33 implémentations, un sondage et des expériences contrôlées. Nous évitons ces problèmes en proposant push-edge et slide-edge, qui montrent des performances similaires aux techniques existantes. Enfin, nous décrivons trois utilisations réussies de l’ordinateur portable comme instrument de musique permettant le contrôle simultané temps-réel de plusieurs paramètres sonores, en détaillant quelques problèmes de conception.

Desktop and laptop personal computers enable knowledge work and creative activities by supporting direct and expressive interaction. But the feeling of directness often disappears when users perform complex actions: expressiveness is ensured at the cost of spatiotemporal separation, cognitive load, or complex operation sequences. This thesis proposes to solve this problem by harnessing the unexploited capabilities of standard input devices and familiar actions performed on them. We investigate how this enables direct increases of the granularity, extent, and dimensionality of user actions. First, we show that the granularity of pointer movements can be increased a hundredfold without impeding normal behavior if pointing transfer functions include device characteristics, user capabilities, and the manipulated data model, thus allowing subpixel interaction. This is limited by the useful resolution, the smallest displacement a user can produce using a pointing device, for which we propose an experimental protocol.Second, we study the design space of a widely used technique, edge-scrolling, that extends dragging actions past a viewport edge by scrolling. We reverse engineer 33 existing implementations, and highlight usability problems through a survey and experiments. We also propose push-edge and slide-edge scrolling, two position control techniques that provide performance comparable to rate control without the shortcomings. Third, we describe three ways of using a standard laptop as a musical instrument, allowing simultaneous multiparametric control of sound synthesis in real time, together with design considerations and examples of successful uses.