Approche à base de modèles pour la construction d’applications mobiles multimodales

Model-based approach for the construction of multimodal mobile applications

• Auteur / Autrice : Nadia Elouali
• Direction : José Rouillard, Jean-Claude Tarby
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 27/10/2014
• Etablissement(s) : Lille 1
• Ecole(s) doctorale(s) : École doctorale Sciences pour l'ingénieur (Lille)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique fondamentale de Lille (2002-2014)

Mots clés

Mots clés contrôlés

Ingénierie dirigée par les modèles

Applications mobiles

Interaction humain-machine

Mots clés libres

Interfaces multimodales

Résumé

Aujourd'hui, les smartphones intègrent une grande variété de capteurs tel que l’accéléromètre, le capteur de lumière, le capteur d'orientation, etc. Créé pour détecter les informations du contexte, ces capteurs ont permis également l’apparition des nouvelles modalités d'interaction comme par exemple le secouage du téléphone ou la modification de son orientation. L’utilisation de ces modalités réduit les restrictions d’interaction avec les smartphones et ouvrent la voie à une grande expansion des interactions multimodales sous mobiles. Malheureusement, le contexte actuel de développement des logiciels mobiles rend difficile le développement d'applications multimodales. Dans cette thèse, notre challenge consiste à aider les développeurs pour faire face à cette difficulté. Nous proposons une solution à base des modèles qui vise à faciliter le développement d'interfaces mobiles multimodales. Nous adoptons les principes de l’Ingénierie Dirigée par les Modèles (IDM), qui convient parfaitement avec un tel contexte. Notre proposition consiste en un langage de modélisation nommé M4L (mobile multimodalité Modeling Language), ainsi qu’un framework nommé MIMIC (mobiles multimodalité Créateur) qui se base sur M4L pour permettre la modélisation graphique et la génération automatique des interfaces mobiles multimodales (en entrée et en sortie). Notre approche respecte les principaux critères de l’IDM afin d‘être efficace. Les résultats de nos évaluations suggèrent que l'utilisation de MIMIC (basé sur le langage M4L) facilite le développement des interfaces mobiles multimodales.

Today, smartphones present a great variety of features and embed an important number of sensors (accelerometer, touchscreen, light sensor, orientation sensor…). Created for giving context-aware abilities, these sensors also allow new types of interaction like shaking the phone or changing its orientation. Such type of interaction reduces limitation of mobile phones and paves the way to a great expansion of multimodal mobile interactions. Unfortunately, the current context of mobile software development makes difficult the development of multimodal applications. In this thesis, we intend to help developers to deal with this difficulty by providing a mode-lbased solution that aims to facilitate the development of multimodal mobile interfaces. We adopt the principles of the Model Driven Engineering (MDE), which is particularly fitted for such context. Our proposition includes M4L (Mobile MultiModality Modeling Language) modeling language to model the (input/output) multimodal interactions and the MIMIC (MobIle MultImodality Creator) framework that allows the graphical modeling and automatic generation of multimodal mobile interfaces. Our approach respects the main criteria of the MDE in order to define an efficient model-based approach. The results of our evaluations suggest that using our approach facilitates the development of sensor-based multimodal mobile interfaces. With our contributions, we aim to facilitate the penetration of multimodal applications and benefit from their advantages.