Les interactions multimodales dans le contexte de l’internet des objets

Multimodal interactions in the context of the Internet of Things

• Auteur / Autrice : Fabrice Poirier
• Direction : Thierry Duval
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 12/01/2023
• Etablissement(s) : Ecole nationale supérieure Mines-Télécom Atlantique Bretagne Pays de la Loire
• Ecole(s) doctorale(s) : École doctorale Sciences pour l'ingénieur et le numérique
• Partenaire(s) de recherche : Laboratoire : Equipe Immersive Natural User Interaction team - Département Informatique - Laboratoire en sciences et techniques de l'information, de la communication et de la connaissance
• Partenaire(s) de recherche : Entreprise : Orange (Firme)
• Jury : Président / Présidente : Frédéric Merienne
• Jury : Examinateurs / Examinatrices : Thierry Duval, Anthony Foulonneau, Jérémy Lacoche, Gaëlle Calvary
• Jury : Rapporteurs / Rapporteuses : Frédéric Merienne, Marcos Serrano

Mots clés

Mots clés contrôlés

Réalité virtuelle

Internet des objets

Informatique omniprésente

Interaction multimodale

Mots clés libres

Interactions multimodales

Informatique ambiante

Objets connectés

Internet des objets

Réalité virtuelle

Multimodal interactions

Ambiant systems

Connected objects

Internet of Things

Virtual reality

Résumé

Les MIBS sont des systèmes multimodaux utilisant des objets connectés comme interfaces d’interaction. Il faut des méthodes et des outils pour faciliter l’adaptation de ces systèmes aux spécificités des environnements d’exécution. D'un environnement à l'autre, les objets connectés sont différents, placés à des endroits différents, avec des disponibilités variables. Un état de l’art a permis d’identifier les exigences à atteindre pour réaliser des MIBS, puis de déterminer les fonctionnalités essentielles et les principales limitations des frameworks permettant de réaliser des MIBS. Cela nous a permis de proposer et développer notre propre framework. À ce stade une intervention humaine est nécessaire au processus d’adaptation des MIBS. Nous avons ensuite proposé une étude du cycle de vie de ces systèmes pour identifier les tâches, rôles et outils intervenant dans ce processus d’adaptation. Pour outiller l’étape de déploiement des MIBS nous avons proposé une méthode et un outil proposant d’utiliser la Réalité Virtuelle (RV) pour configurer et évaluer des MIBS dans des modèles 3D d’environnements avant de passer au déploiement dans les environnements réels. Une expérimentation utilisateur a confirmé l’intérêt de cette approche.

MIBS are multimodal systems using connected objects as interaction interfaces. Methods and tools are needed to facilitate the adaptation of these systems to the specificities of the execution environments. From one environment to another, the connected objects are different, placed in different places, with variable availability. A state of the art made it possible to identify the requirements to be met in order to create MIBS, then to determine the essential functionalities and the main limitations of the frameworks allowing the creation of MIBS. This allowed us to propose and develop our own framework.At this stage, human intervention is necessary for the MIBS adaptation process. We then proposed a study of the life cycle of these systems to identify the tasks, roles and tools involved in this adaptation process. To equip the MIBS deployment stage, we have proposed a method and a tool proposing to use Virtual Reality (VR) to configure and evaluate MIBS in 3D models of environments before moving on to deployment in real environments. A user experiment confirmed the interest of this approach.