Collecticiel et multimodalité : spécification de l'interaction la notation COMM et l'éditeur e-COMM

Groupware and Multimodality : interaction specification the COMM notation and the e-COMM editor

• Auteur / Autrice : Frédéric Jourde
• Direction : Laurence Nigay, Yann Laurillau
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 09/06/2011
• Etablissement(s) : Grenoble
• Ecole(s) doctorale(s) : École doctorale Mathématiques, sciences et technologies de l'information, informatique (Grenoble ; 1995-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique de Grenoble (2007-....)
• Jury : Président / Présidente : Dominique Rieu
• Jury : Examinateurs / Examinatrices : Laurence Nigay, Yann Laurillau, Angélica Leal, Didier Bazalgette
• Jury : Rapporteurs / Rapporteuses : Patrick Girard, Rémi Bastide

Mots clés

Mots clés libres

Interaction Homme-Machine

Collecticiel

Multimodalité

Notation de Spécification

Human-Computer Interaction

Groupware

Multimodality

Specification Notation

Résumé

Dans le domaine de l'Interaction Homme-Machine, nos travaux concernent l'interaction multiutilisateur et multimodale. Exploitant les avancées importantes en terme de modalités d'interaction, de nombreux collecticiels reposent sur une combinaison de modalités, comme les systèmes multiutilisateurs autour d'une table augmentée. Néanmoins ces systèmes constituent des réalisations ad-hoc en l'absence d'outils de conception. Face à constat, nos contributions conceptuelles et logicielles concernent la phase de spécification de l'interaction multiutilisateur et multimodale. Nous présentons une notation de spécification notée COMM (COllaborative et MultiModale) qui est une extension de CTT par l'introduction de deux concepts, le rôle interactif et la tâche modale, et par la spécialisation des opérateurs temporels, en s'appuyant sur les relations de Allen. La notation COMM est instrumentée par un éditeur logiciel de spécifications COMM, nommé e-COMM ((http://iihm.imag.fr/demo/editeur/). COMM et e-COMM ont été utilisés dans un projet DGA de taille conséquente pour spécifier l'interaction au sein d'un poste de commande de drones militaires.

Multi-user multimodal interactive systems involve multiple users that can use multiple interaction modalities. Although multi-user multimodal systems are becoming more prevalent (especially multi-user multimodal systems involving multi-touch surfaces), their design is still ad-hoc without properly keeping track of the design process. Addressing this issue of lack of design tools, our doctoral research is dedicated to the specification of multi-user multimodal interaction. The doctoral research contributions include the COMM (Collaborative and MultiModal) notation and its on-line editor for specifying multi-user multimodal interactive systems. Extending the CTT notation, the salient features of the COMM notation include the concepts of interactive role and modal task as well as a refinement of the temporal operators applied to tasks using the Allen relationships. The COMM notation and its on-line editor e-COMM (http://iihm.imag.fr/demo/editeur/) have been successfully applied to a large scale project dedicated to a multimodal military command post for the control of unmanned aerial vehicles (UAV) by two operators.