Modélisation et conception d’une plateforme pour l’interaction multimodale distribuée en intelligence ambiante

Modeling and design of a distributed and multimodal interactive system for ambient intelligence

• Auteur / Autrice : Gaëtan Pruvost
• Direction : Yacine Bellik
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 11/02/2013
• Etablissement(s) : Paris 11
• Ecole(s) doctorale(s) : Ecole doctorale Informatique de Paris-Sud
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique pour la mécanique et les sciences de l'ingénieur (Orsay, Essonne ; 1972-2020)
• Jury : Examinateurs / Examinatrices : Yacine Bellik, Christophe Kolski, José Rouillard, Anne Vilnat, Wolfgang Minker
• Jury : Rapporteurs / Rapporteuses : Christophe Kolski, José Rouillard

Mots clés

Mots clés contrôlés

Ordinateurs -- Équipement d'entrée-sortie

Intelligence ambiante

Interaction humain-machine

Mots clés libres

Interaction homme-machine

Intelligence ambiante

Informatique ubiquitaire

Génération d’interface

Contexte d’interaction

Multimodalité

Multi-médias

Programmation orientée composants

Human-Machine Interaction

Ambient intelligence

Ubiquitous computing

User interface generation

Interaction context

Multimodality

Multidevice

Component oriented programming

Résumé

Cette thèse s’inscrit dans le domaine de l’intelligence ambiante et de l’interaction homme-machine. Elle a pour thème la génération d’interfaces homme-machine adaptées au contexte d’interaction dans les environnements ambiants. Les travaux de recherche présentés traitent des problèmes rencontrés lors de la conception d’IHM dans l'ambiant et notamment de la réutilisation de techniques d’interaction multimodales et multi-périphériques. Ce travail se divise en trois phases. La première est une étude des problématiques de l’IHM spécifiques à l’Ambiant et des architectures logicielles adaptées à ce cadre théorique. Cette étude permet d’établir les limites des approches actuelles et de proposer, dans la seconde phase, une nouvelle approche pour la conception d’IHM ambiante appelée DAME. Cette approche repose sur l’association automatique de composants logiciels qui construisent dynamiquement une IHM. Nous proposons deux modèles complémentaires qui permettent de décrire les caractéristiques ergonomiques et architecturales des composants. La conception de ces derniers est guidée par une architecture logicielle composée de plusieurs couches qui permet d’identifier les différents niveaux d’abstraction réutilisables d’un langage d’interaction. Un troisième modèle, appelé modèle comportemental, permet de spécifier des recommandations quant à l’instanciation de ces composants. Nous proposons un algorithme permettant de générer des IHM adaptées au contexte et d’évaluer la qualité de celles-ci par rapport aux recommandations du modèle comportemental. Dans la troisième phase, nous avons implémenté une plateforme réalisant la vision soutenue par DAME. Cette implémentation est confrontée aux utilisateurs finaux dans une expérience de validation qualitative. De ces travaux ressortent des résultats encourageants, ouvrant la discussion sur de nouvelles perspectives de recherche dans le cadre de l’IHM en informatique ambiante.

This thesis deals with ambient intelligence and the design of Human-Computer Interaction (HCI). It studies the automatic generation of user interfaces that are adapted to the interaction context in ambient environments. This problem raises design issues that are specific to ambient HCI, particularly in the reuse of multimodal and multidevice interaction techniques. The present work falls into three parts. The first part is an analysis of state-of-the-art software architectures designed to solve those issues. This analysis outlines the limits of current approaches and enables us to propose, in the second part, a new approach for the design of ambient HCI called DAME. This approach relies on the automatic and dynamic association of software components that build a user interface. We propose and define two complementary models that allow the description of ergonomic and architectural properties of the software components. The design of such components is organized in a layered architecture that identifies reusable levels of abstraction of an interaction language. A third model, called behavioural model, allows the specification of recommendations about the runtime instantiation of components. We propose an algorithm that allows the generation of context-adapted user interfaces and the evaluation of their quality according to the recommendations issued from the behavioural model. In the third part, we detail our implementation of a platform that implements the DAME approach. This implementation is used in a qualitative experiment that involves end-users. Encouraging preliminary results have been obtained and open new perspectives on multi-devices and multimodal HCI in ambient computing.