Sémantisation du contenu et du contexte pour la gestion de l'expériences utilisateur et de la multimodalité en environnement de réalité virtuelle et augmentée

Content and context semantization dedicated to UX and multimodality management in virtual and augmented reality environment

• Auteur / Autrice : Nicolas Saint-leger
• Direction : Patrick Bourdot
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 01/10/2023
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication
• Partenaire(s) de recherche : Laboratoire : Laboratoire interdisciplinaire des sciences du numérique (Orsay, Essonne ; 2021-....)
• Partenaire(s) de recherche : Equipe de recherche : VENISE - R&VA
• Partenaire(s) de recherche : Référent : Faculté des sciences d'Orsay

Mots clés

Mots clés libres

Multimodalité en sortie

Réalité Virtuelle et Augmentée

Multimodalité en entrée

Représentation sémantique

Expérience utilisateur

Output multimodality

Semantic representation

User Experience

Input multimodality

Virtual and Augmented Reality

Résumé

La réalité virtuelle et augmentée est longtemps restée une niche, mais avec l'avènement des casques immersifs bon marché, puis plus récemment des casques de réalité augmentée, de plus en plus d'applications et d'outils industriels ciblent ces environnements de réalité mixte, notamment pour la maintenance des ascenseurs, pour l'assistance au démontage et remontage d'avion, ou dans le cadre d'opération chirurgicale… Certaines GAFAM survendent l'usage de la réalité virtuelle et augmentée, en ridiculisant au passage le domaine avec des projections aussi peu réalistes que ridicules. Il reste qu'en réalité de nombreuses problématiques de recherche subsistent et reviennent au gout du jour étant donné la démocratisation des dispositifs, avec la nécessité, sans clavier ni souris, d'intégrer intelligemment à la fois la commande gestuelle, souvent médiatisée par des dispositifs d'interaction variés, et la commande vocale. Cette gestion de la multimodalité posent toujours des problèmes de recherche ardus, à la frontière entre l'interaction humain machine et de l'intelligence artificielle. Malgré les progrès importants dans ces deux domaines, le verrous scientifiques et technologiques relatifs au paradigme de Bolt, «Mets cet objet ici », archétype de toute commande multimodale, constituent les principaux freins l'usage de la réalité virtuelle et augmentée dans un usage quotidien et professionnelle. Si les progrès en apprentissage profond et les modèles de langue permettent désormais de reconnaitre plus efficacement les gestes ou les commandes vocales, l'intégration de plusieurs modalités pour construire une commande suppose une connaissance approfondie et structurée, à la fois du contexte d'interaction, mais aussi du contenu de la scène virtuelle. Ni l'apprentissage profond, ni les modèle de langues, ne sont susceptibles d'adresser globalement cette problématique qui impose une représentation sémantique formelle et explicite des concepts manipulés et pouvoir effectuer un raisonnement logique sur les concepts décrivant le contexte d'interaction et ceux relatifs aux contenus manipulés, et pour prendre en compte les intentions de l'utilisateur. C'est la raison nous nous inscrivons dans cette thèse dans la lignée des travaux liés aux environnements informés et à l'usage de représentations logiques et sémantiques pour outiller la gestion de la multimodalité et apporter plus d'intelligence' dans l'interaction et pour améliorer l'expérience utilisateur dans les environnements virtuels et augmentés. Il s'agira dans ce doctorat d'adosser à toute expérience virtuelle, une représentation sémantique formalisant en temps interactif à la fois le contexte d'interaction et le contenu numérique manipulé, de la manière la plus exhaustive possible. Cela suppose en amont d'utiliser, d'intégrer et d'enrichir les ontologies du domaine de la réalité virtuelle et augmentée déjà disponible, à associer aux ontologies de domaines liées à la nature des objets manipulés dans l'application ciblée. Cette formalisation du contenu et du contexte s'étend désormais au-delà des éléments virtuels, avec la nécessité d'intégrer les éléments réels d'un contexte de réalité mixte ou augmentée, ou objet virtuels et réel cohabitent, constituant des supports à l'interaction, des outils spécifiques à une tâche, ou simplement les objets métier d'intérêt édités dans l'application. Au-delà de cette dimension technologique, des aspects théoriques dans le domaine de la représentation des connaissances devront être adressés pour repousser les limites méthodologique actuelles notamment celle de la gestion de la temporalité et de la gestion de l'espace qui posent des problèmes spécifiques en réalité virtuelle et augmentée. Plusieurs fonctionnalités innovantes sont visées correspondant à des besoins de plus en plus urgents notamment en réalité augmentée : la première est d'améliorer la gestion de la multimodalité en entrée ou commande multimodale, qui ne peut être pas être interprétée correctement par la machine sans représentation sémantique approfondie durant l'interaction. La seconde fonctionnalité est la possibilité d'avoir une trace exhaustive a posteriori de tous les évènements et états caractéristiques d'une expérience virtuelle, dans un formalisme structuré et sémantique, et qui permet après l'expérience d'effectuer à la fois des requêtes avec un raisonnement sous-jacent. En effet, dans les expérimentations en réalité virtuelle et augmentée, et plus généralement en interaction humain machine, la gestion de ces traces s'effectuent par des données brutes, avec des développement adhoc pour enregistrer les variables dépendantes mesurées, alors qu'il est fréquent d'observer des phénomènes non prévisibles et donc non enregistrés, et qui font souvent l'objet de découvertes intéressantes au-delà des hypothèses testées. De telles traces exhaustives permettraient par ailleurs de rejouer les expériences utilisateur de manière systématique. La dernière est la nécessité de construire des ponts interactifs entre plusieurs applications 2D ou 3D dans la suite de travaux démontrant l'intérêt de relier et de synchroniser les données présentées dans un même contexte interactif, fonctionnalité requise dans un contexte de réalité augmentée ou plusieurs applications manipulant des concepts connexes sont utilisées conjointement. Ces recherches et ces fonctionnalités devront se concrétiser par une librairie et une API agnostique à l'outil utilisé pour concevoir l'expérience virtuelle. Le cadre applicatif servant d'éléments d'évaluation et de test est celui de la biologie moléculaire mobilisant les collaborations historiques de l'équipe. L'approche devra faire l'objet d'une évaluation de son utilité à travers plusieurs scénarios d'usage avec les experts du domaine applicatif ciblé, mais aussi en termes d'apport en tant qu'outil support à l'analyse d'expérience utilisateur dans les environnements de réalité mixte.

Virtual and augmented reality has long remained a niche, but with the rise of cheap augmented reality immersive headsets, more and more applications and industrial tools are targeting mixed reality environments, as for the maintenance of lifts, for assistance with aircraft reassembly, or in the context of surgical operations... Some GAFAMs oversell the use of virtual and augmented reality, ridiculing the V&AR field with unrealistic projections. In reality many research issues remain and are coming back given this democratisation of V&AR devices, with the same crucial needs, without a keyboard or mouse, to intelligently integrate both gesture control mediated by specific interaction devices, and voice control. This management of multimodality still raises difficult research problems, at the frontier between human-machine interaction and artificial intelligence. Despite significant progress in these two areas, theorical and technological barriers related to Bolt's paradigm, 'Put this object here', an archetype of all multimodal control, remain one of the main obstacles to the use of virtual and augmented reality in everyday and professional use. Although progress in deep learning and language models now make it possible to recognise gestures or voice commands more efficiently, the integration of several modalities to construct a command assume to use an in-depth and structured knowledge of both the interaction context and the content of the virtual scene. Neither deep learning nor language models are likely to address this problem globally, which requires a formal, logic, and explicit semantic representation of the concepts handled. Moreover a requirement is the ability to logically reason about the concepts describing the interaction context and those relating to the contents handled, and in order to take into account the user's intentions. This is the reason why this thesis is in line with the work related to informed environments and the use of logical and semantic representation to tool the management of multimodality and to bring 'intelligence' interactive features to improve the user experience in virtual and augmented environments. The aim of this Ph.D work is to provide all virtual experiences with a semantic representation formalizing both the interaction context and the digital content manipulated in interactive time, in the most exhaustive way possible. This implies upstream using, integrating and enriching the ontologies of the virtual and augmented reality domain already available, to be associated with domain ontologies linked to the nature of the objects manipulated in the targeted 3D application. This formalisation of content and context now extends beyond virtual elements, with the need to integrate the real elements of a mixed or augmented reality context, where virtual and real objects coexist, constituting interaction supports, task-specific tools, or simply the objects of interest edited in the application. Beyond this technological dimension, theoretical aspects in the field of knowledge representation will be addressed in order to overcome the limits of current methodologies, in particular time and space management, which pose specific problems in virtual and augmented reality. Several innovative functionalities are targeted corresponding to increasingly urgent needs, particularly in augmented reality: the first is to improve the management of multimodal control, which cannot be interpreted correctly by the machine without in-depth semantic representation during the interaction. The second feature is the possibility to have an exhaustive a posteriori trace of all the events and states characteristic of a virtual experiment, in a structured and semantic formalism, and which allows after the experiment to perform both queries with underlying reasoning. Indeed, in virtual and augmented reality experiments, and more generally in human-machine interaction, the management of these traces is carried out by raw data, with adhoc development to record the measured dependent variables, whereas it is frequent to observe phenomena which are not predictable and therefore not recorded, and which are often the subject of interesting discoveries beyond the tested hypotheses. Such exhaustive traces would also allow the systematic replay of user experiences. The last one is the need to build interactive bridges between several 2D or 3D applications linking and synchronising the data presented in a same interactive context, a functionality required in an augmented reality context where several manipulating related concepts are used jointly but inside separate applications. This research and its functionalities will have to be provided by a software library and its API targeted to be used by any design 3D tool. The targeted domain for evaluation and testing will be molecular biology, mobilizing the team's historical collaborations. The approach will have to be evaluated for its usefulness through several usage scenarii with experts in molecular science, but also in terms of its contribution as a support tool for researchers and dedicated to user experience analysis in mixed reality environments.