Interfaces utilisateur ubiquitaires à formes libres

Pervasive freeform user interfaces

• Auteur / Autrice : Aziz Niyazov
• Direction : Marcos Serrano, Loïc Barthe
• Type : Thèse de doctorat
• Discipline(s) : Informatique et Télécommunications
• Date : Soutenance le 25/10/2023
• Etablissement(s) : Toulouse 3
• Ecole(s) doctorale(s) : École doctorale Mathématiques, informatique et télécommunications (Toulouse)
• Partenaire(s) de recherche : Laboratoire : Institut de Recherche en Informatique de Toulouse (1995-....)
• Jury : Président / Présidente : Maud Marchal
• Jury : Examinateurs / Examinatrices : Marcos Serrano, Loïc Barthe, Maud Marchal, Gilles Bailly, Wolgang Stuerzlinger
• Jury : Rapporteurs / Rapporteuses : Gilles Bailly, Wolgang Stuerzlinger

Mots clés

Mots clés contrôlés

Informatique omniprésente

Modélisation des données (informatique)

Interfaces utilisateur (informatique)

Mots clés libres

Interface utilisateur

Technique d'interaction

Interface forme libre

Contraintes

Optimisation

User interfaces

Interaction techniques

Freeform interfaces

Constraints

Optimisation

Résumé

Dans un monde de données, les interfaces pervasives displays everywhere seront essentielles pour permettre l'accès aux données à tout moment et en tout lieu. La vision des displays everywhere pourrait permettre de visualiser des données qui s'adapteraient aux surfaces de forme libre de l'environnement, ce qui a conduit au concept d'interfaces de forme libre pervasive. Ces interfaces présentent un intérêt dans de nombreux domaines, tels que les bâtiments intelligents, les salles de classe, les musées, les salles d'exposition, les devantures de magasins et l'assistance à la maintenance. Ce doctorat se concentre sur le développement du paradigme d'interaction des interfaces pervasives de forme libre, présentées dans des zones d'affichage non rectangulaires de l'environnement de l'utilisateur. Nous nous intéressons principalement à deux formes d'interfaces pervasives de forme libre : les interfaces basées sur la projection et la réalité augmentée immersive. En raison de leurs caractéristiques, ces interfaces posent de nouveaux défis en matière d'organisation du contenu et d'interaction. Ces défis englobent plusieurs aspects, tels que l'adaptation de l'interface à une zone d'affichage de forme libre, le changement dynamique de la zone d'affichage en raison de la présence d'objets physiques, la prise en compte de la limitation du contrôle de l'utilisateur sur l'optimisation de la mise en page et l'activation de l'interaction spatiale pour contrôler la mise en page de l'interface dans les environnements immersifs. Pour relever les défis de l'adaptation de l'interface à une zone d'affichage de forme libre et à son changement dynamique, nous proposons une nouvelle solution basée sur deux contributions essentielles : la décomposition de l'interface en unités graphiques déformables, appelées "Dynamic Decals", et le contrôle de leur position et de leur comportement par une approche basée sur les contraintes. Notre approche déforme dynamiquement l'interface lorsque cela est nécessaire tout en minimisant l'impact sur sa visibilité et ses propriétés de mise en page. Pour ce faire, nous étendons les travaux antérieurs sur les déformations implicites en proposant et en validant expérimentalement des fonctions définissant différentes formes de decals et de nouveaux déformateurs modélisant les déformations des decals lorsqu'ils entrent en collision. Ensuite, nous optimisons de manière interactive le placement des decals en fonction de la géométrie de l'interface et de leurs interrelations. Cette optimisation est souvent basée sur la modélisation de l'emplacement prévu du contenu sous forme de contraintes, définies comme des fonctions de coût. L'application d'un algorithme de minimisation des coûts conduit à un placement souhaitable. Les relations sont modélisées comme des contraintes et l'évolution de l'interface résulte d'un problème de minimisation facile et efficace à résoudre. Pour répondre aux limites du contrôle de l'utilisateur sur l'optimisation de l'agencement et le contrôler dans des environnements immersifs, nous explorons le concept de contraintes pilotées par l'utilisateur pour l'optimisation de l'agencement en réalité augmentée. Notre approche permet aux utilisateurs de définir et d'établir leurs propres contraintes directement dans l'environnement réel. Nous présentons d'abord un espace de conception composé de trois dimensions : les contraintes, les régions d'intérêt et les paramètres de contrainte. Ensuite, nous explorons les gestes d'entrée qui peuvent être employés pour définir les contraintes de notre espace de conception en fonction de l'utilisateur par le biais d'une étude d'élicitation. En utilisant les résultats de l'étude, nous proposons une conception et une mise en œuvre holistiques du système démontrant nos contraintes pilotées par l'utilisateur, que nous évaluons dans une étude utilisateur finale où les participants devaient créer plusieurs contraintes simultanément pour arranger un ensemble de contenus virtuels.

In a world of data, pervasively-displayed interfaces (also referred to as "displays everywhere") will be essential to provide access to data anytime and anywhere. The vision of displays everywhere could benefit from data visualisations that could adapt to the freeform surfaces of the surroundings, leading to the concept of pervasive freeform interfaces. Such freeform interfaces could be of interest in multiple domains, such as smart buildings, university classrooms, museums, showrooms, shop fronts and maintenance support. This PhD focuses on developing the interaction paradigm of pervasive freeform interfaces, i.e. interfaces presented in non-rectangular display areas of the user's environment. We are mostly interested in two forms of pervasive freeform interfaces: projection-based and immersive augmented reality. Due to their characteristics, these interfaces bring new challenges to content organisation and interaction. These challenges encompass several aspects, such as interface adaptation to a freeform display area, dynamic change of display area due to the presence of physical objects, addressing the limitation of user control over layout optimisation and enabling spatial interaction to control interface layout in immersive environments. To tackle the challenges of interface adaptation to a freeform display area and its dynamic change, we propose a novel solution based on two core contributions: the decomposition of the interface into deformable graphical units, called Dynamic Decals and the control of their position and behaviour by a constraint-based approach. Our approach dynamically deforms the interface when needed while minimising the impact on its visibility and layout properties. To do so, we extend previous work on implicit deformations to propose and experimentally validate functions defining different decal shapes and new deformers modelling decal deformations when they collide. Then, we interactively optimise the decal placements according to the interface geometry and their interrelations. This optimisation is often based on modelling the intended content placement as constraints, defined as cost functions. Applying a cost minimisation algorithm leads to a desirable placement. Relations are modelled as constraints, and the interface evolution results from an easy and efficient to solve minimisation problem. To address the limitations of user control over layout optimisation and controlling it in immersive environments, we explore the concept of user-driven constraints for augmented reality layout optimisation. Our approach lets users define and set up their own constraints directly within the real-world environment. We first present a design space composed of three dimensions: the constraints, the regions of interest and the constraint parameters. Then we explore which input gestures can be employed to define the user-driven constraints of our design space through a user elicitation study. Using the study results, we propose a holistic system design and implementation demonstrating our user-driven constraints, which we evaluate in a final user study where participants had to create several constraints simultaneously to arrange a set of virtual contents.