Assistance multimodale à l'exploration de visualisations 2D interactives

Multimodal assistance to visual exploration of 2D interactive visualizations

• Auteur / Autrice : Suzanne Kieffer
• Direction : Noëlle Carbonell
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance en 2005
• Etablissement(s) : Nancy 1
• Partenaire(s) de recherche : Autre partenaire : Université Henri Poincaré Nancy 1. Faculté des sciences et techniques

Mots clés

Mots clés contrôlés

Interfaces utilisateur (informatique)

Interaction humain-machine

Systèmes homme-machine

Résumé

Ce travail porte sur la conception d'une nouvelle forme d'interaction Homme-Machine : la multimodalité parole+présentation visuelle en sortie du système. Plus précisément, l'étude porte sur l'évaluation des apports potentiels de la parole, en tant que mode d'expression complémentaire du graphique, lors du repérage visuel de cibles au sein d'affichages 2D interactifs. Nous avons adopté une approche expérimentale pour déterminer l'influence d'indications spatiales orales sur la rapidité et la précision du repérage de cibles et évaluer la satisfaction subjective d'utilisateurs potentiels de cette forme d'assistance à l'activité d'exploration visuelle. Les différentes études réalisées ont montré d'une part que les présentations multimodales facilitent et améliorent les performances des utilisateurs pour le repérage visuel, en termes de temps et de précision de sélection des cibles. Elles ont montré d'autre part que les stratégies d'exploration visuelle des affichages, en l'absence de messages sonores, dépendent de l'organisation spatiale des informations au sein de l'affichage graphique.

This work is about the design of a new form of Human-Computer Interaction : the speech + visual presentation combination as an output multimodality. More precisely, it deals with the valuation of the potential benefits from the speech, as a graphical expression mode, during visual target detection tasks in 2D interactive layouts. We used an experimental approach to show the influence of oral messages, including the spatial localisation of the target in the layout, on users speed and accuracy. We also valued the subjective satisfaction of the users about this assistance to visual exploration. Three experimental studies showed that multimodal presentations of the target facilitate and improve users performances, considering both speed and accuracy. They also showed that visual exploration strategies, without any oral message, depend on the spatial organisation of the information displayed.