Nouvelles interactions physiques pour dispositifs mobiles

New physical interactions for mobile devices

• Auteur / Autrice : Mathias Baglioni
• Direction : Eric Lecolinet, Yves Guiard
• Type : Thèse de doctorat
• Discipline(s) : Informatique et réseaux
• Date : Soutenance le 25/04/2012
• Etablissement(s) : Paris, ENST
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris
• Partenaire(s) de recherche : Laboratoire : Laboratoire Traitement et communication de l'information (Paris ; 2003-....)
• Jury : Examinateurs / Examinatrices : Renaud Blanch, Stéphane Huot, Patrick Girard
• Jury : Rapporteurs / Rapporteuses : Monique Noirhomme-Fraiture, Franck Poirier

Mots clés

Mots clés contrôlés

Systèmes homme-machine

Téléphonie mobile

Mots clés libres

Capteur de mouvement

Système interactif

Movement sensor

Interactive system

Résumé

Soixante pour cent de la population mondiale possède aujourd'hui un téléphone portable. Les modèles récents, qui tendent à devenir de petits ordinateurs portables, sont jusqu’à 10 000 fois plus puissants et 300 000 fois moins lourds que le premier ordinateur, apparu voici 60 ans. Malgré cette puissance, et les ressources offertes par les équipements dont ils sont munis (écran tactile multitouch, accéléromètres et autres capteurs...), les mobiles souffrent de certaines limitations du fait de la disparition de nombreux périphériques d'entrée classiques tels que le clavier et la souris. Afin d'augmenter la bande passante interactionnelle de ces dispositifs et de tirer partie de ces capteurs, nous nous sommes intéressé dans cette thèse aux possibilités offertes par l'interaction gestuelle en considérant deux axes de recherche : les mouvements sur le mobile et les mouvements du mobile. Après avoir proposé un espace de classification nous avons conçu et développé plusieurs techniques d'interaction gestuelle destinées à enrichir et faciliter l'interaction de l'utilisateur avec ces dispositifs.Concernant les mouvements sur le mobile, nous nous sommes intéressé à l'amélioration du Flick, une technique de défilement largement popularisée ces dernières années. Après avoir étudié son ‘anatomie’, nous avons proposé d'exploiter plusieurs ressources interactionnelles jusqu'à présent inutilisées. Ce travail a donné naissance à trois nouvelles techniques: Flick-and-brake et LongFlick, qui utilisent respectivement la pression sur l'écran et les caractéristiques du geste de lancer pour mieux contrôler le défilement, et 'Semantic Flicking' qui exploite la sémantique du document pour faciliter la lecture. Dans un second temps nous avons considéré les possibilités offertes par l'interaction 3D, en déplaçant le dispositif mobile dans l'espace. Cette voie de recherche vise à permettre d'augmenter le vocabulaire d'interaction sans parasiter les interactions tactiles déjà existantes. Tirant parti des capteurs intégrés dans les mobiles, en particulier les accéléromètres, nous avons proposé deux nouvelles techniques d'interaction 3D : TimeTilt qui utilise des gestes fluides et impulsifs pour naviguer aisément entre différentes vues et JerkTilt qui introduit la notion de gestes 'auto-délimités' pour accéder rapidement à des commandes. Ces gestes auto-délimités ayant également la particularité de pouvoir être facilement combinés avec des interactions sur l'écran, nous avons enfin considéré la combinaison des modalités offertes par les gestes bi- et tri-dimensionnels.

Sixty percent of the world's population now owns a mobile phone. Recent models, which tend to become small laptops are up to 10 000 times more powerful and 300 000 times less heavy than the first computer, appeared 60 years ago. Despite this power and all the resources provided by modern equipment (touchscreen, accelerometer and other sensors...), mobile phones suffer from certain limitations due to the lack of conventional input such as keyboard and mouse. To increase the interaction bandwidth of these device and take advantage of these sensors, we investigate the potential offered by gestural interaction by considering two lines of research: movements on the mobile and movements of the mobile. After defining a classification space we conceived and developed several gestural interaction techniques to enrich and facilitate interaction between the user and these devices. For the movements on the mobile we have proposed to improve the flick, a scrolling technique widely popularized in recent years. We first studied his ‘anatomy’ of this technique, then we proposed to exploit multiple interactional resources hitherto unused. This work gave birth to three new techniques: Flick-and-Brake and LongFlick, that respectively use the pressure on the screen and the characteristics of the throwing action to better control scrolling, and Semantic Flicking which leverage on document semantics to facilitate reading. In a second stage we considered the potential of 3D interaction, by moving the mobile device in the space. This line of research aims at expanding the interaction vocabulary while avoiding interferences with existing touch interactions. Leveraging on integrated sensors such as accelerometers, we proposed two new techniques for 3D interaction: TimeTilt, which uses smooth and impulsive gestures to easily navigate between different views, and JerkTilt, which introduced the notion of self-delimited gestures for accessing quickly to commands. An interesting property of these self-defined gestures is their ability to be combined with common interactions on the screen. We thus finally considered the combination of modalities offered by the two and three-dimensional gestures.