Proposition d’un modèle de données pour l’édition et l’exploitation d’Environnements Virtuels ou Augmentés dans un contexte industriel.

Data model proposal for the authoring and operating of Virtual or Augmented Environments in an industrial context.

• Auteur / Autrice : Killian Richard
• Direction : David Baudry
• Type : Thèse de doctorat
• Discipline(s) : Réalité virtuelle et augmentée (AM)
• Date : Soutenance le 07/09/2022
• Etablissement(s) : Paris, HESAM
• Ecole(s) doctorale(s) : École doctorale Sciences des métiers de l'ingénieur
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'innovation numérique pour les entreprises et les apprentissages au service de la compétitivité des territoires (Saint-Etienne-du-Rouvray, Seine-Maritime) - Laboratoire d'Innovation Numérique pour les Entreprises et les Apprentissages au service de la Compétitivité des Territoires
• Partenaire(s) de recherche : établissement de préparation de la thèse : École nationale supérieure d'arts et métiers (1780-....)
• Jury : Président / Présidente : Simon Richir
• Jury : Examinateurs / Examinatrices : David Baudry, Domitile Lourdeaux, Ronan Querrec, Jean-Pierre Jessel, Vincent Havard
• Jury : Rapporteurs / Rapporteuses : Domitile Lourdeaux, Ronan Querrec

Mots clés

Mots clés contrôlés

UML (informatique)

Thèses et écrits académiques

Réalité virtuelle

Mots clés libres

Réalité virtuelle

Réalité augmentée

Industrie du futur

Modélisation UML

Édition de scénario et procédures métiers

Édition par la démonstration (Authoring-By-Doing)

Virtual reality

Augmented reality

Factory of the future

UML Modelling

Scenario authoring and job procedures

. Authoring-By-Doing

Résumé

Dans le contexte de l'industrie du futur, les évolutions technologiques et numériques ont permis de mettre en place de nouvelles manières de concevoir, de collaborer ou encore de se former. Le développement des outils de CAO (Conception Assistée par Ordinateur), des outils de simulations métiers et plus récemment des Jumeaux Numériques de systèmes industriels permettent de travailler sur des modèles numériques du système, donnant une représentation multi-physiques de celui-ci. Ces modèles numériques peuvent être intégrés et interfacées avec des environnements en Réalité Virtuelle ou Augmentée (RV/RA). Ils permettent ainsi d’améliorer l’efficacité des parties prenantes dans les différentes phases de conception, d’exploitation ou de maintenance d’un système telles que, par exemple, la revue de conception, l’étude de processus, l’assistance ou la formation des opérateurs. Enfin, avec l’arrivée massive des casques immersifs et de nouveaux dispositifs de RA, ces technologies se démocratisent dans les entreprises et deviennent accessibles aux PMEs qui veulent pouvoir en tirer parti. Cependant, l'intégration de procédures métiers et de scénarios industriels dans les environnements virtuels et augmentés reste encore un processus complexe et peu industrialisé nécessitant des compétences diverses telles que : des compétences métiers pour la définition des procédures et scénarios, des compétences informatiques pour générer l’environnement virtuel et gérer les interactions de l’utilisateur, ... Par ailleurs, la diversité des appareils de rendu et des interactions associés complexifie d’autant plus le processus de création impliquant des temps de développement long et coûteux.Afin de proposer des éléments de réponses à ces différentes problématiques industrielles, nous avons tout d’abord dressé un état de l’art scientifique et technologique portant sur les modèles UML et les approches basées sur les ontologies pour la formalisation de processus ou de scénarios métiers. En s’appuyant sur cette analyse et sur l’expertise et les retours d’expériences d’OREKA ingénierie, les travaux de cette thèse ont permis de proposer le modèle de données INTERVALES (INTERactive Virtual and Augmented framework for industriaL Environments and Scenarios). Ce modèle permet de formaliser la création des contenus et interactions en réalité virtuelle et en réalité augmentée liés aux procédures et scénarios métiers de systèmes industriels. Une attention particulière a été portée sur l’architecture logicielle du framework INTERVALES afin de permettre une intégration avec les outils du jumeaux numériques (moteur de rendu 3D type Unity, outils de CAO et de simulation, …). Des cas d’applications intégrant le framework INTERVALES ont été étudiés et montrent notamment la diversité des usages auxquels le framework peut répondre : implantation d’atelier de production et revue de conception de poste cobotique en RV, assistance ou formation à des gammes d’assemblages en RA/RV, formations dans le domaine du nucléaire, ....Enfin, la dernière contribution porte sur les interfaces graphiques du framework INTERVALES permettant d’éditer les procédures et scénarios en définissant les tâches attendues et les paramètres associés. Ces travaux ont comparé deux éditeurs distincts : une interface utilisateur 2D basée sur des graphes de nœuds et une interface utilisateur en RV permettant l’édition par démonstration (authoring-by-doing). Les résultats des études expérimentales et des analyses conduites permettent de conclure sur l’efficacité de l’édition par démonstration pour des procédures séquentielles et de l’intérêt d’une approche hybride pour des procédures plus complexes.

In the context of the factory of the future, technological and digital developments have enabled new ways of designing, collaborating and even training. The development of CAD (Computer Aided Design) tools, business simulation tools and more recently Digital Twins of industrial systems, make it possible to work on digital models of the system, giving a multi-physical representation of it. These digital models can be integrated and interfaced with Virtual or Augmented Reality (VR/AR) environments. They thus make it possible to improve the efficiency of the stakeholders in the various phases of design, operations, or maintenance of a system, such as design review, process study, assistance, or operator training. Finally, with the mass arrival of immersive headsets and new AR devices, these technologies are becoming increasingly democratic within companies and becoming accessible to SMEs who want to be able to benefit from them. However, the integration of business procedures and industrial scenarios in virtual and augmented environments remains a complex and scarcely industrialized process requiring various skills such as: business skills for the definition of procedures and scenarios, computer skills to generate the virtual environment and manage user interactions, …. Furthermore, the diversity of rendering devices and associated interactions further complicates the creation process involving long and costly development times.In order to propose elements of answers to these various industrial problems, we first drew up a state of the scientific and technological art relating to UML models and approaches based on ontologies for the formalization of processes or business scenarios. Based on this analysis and on the expertise and feedback from OREKA Ingenierie, the work of this thesis has made it possible to propose the INTERVALES data model (INTERactive Virtual and Augmented framework for industriaL Environments and Scenarios). This model makes it possible to formalize the creation of content and interactions in virtual and augmented reality linked to the procedures and business scenarios of industrial systems. Particular attention has been paid to the software architecture of the INTERVALES framework to allow for integration with digital twin tools (Unity-type 3D rendering engine, CAD and simulation tools, etc.). Cases of applications integrating the INTERVALES framework have been studied and demonstrate the diversity of uses with which the framework can respond, such as: the establishment of production workshop and design reviews of cobotic stations in VR, providing assistance or training in assembly ranges in AR/VR, supplementary training in the nuclear field, etc.Finally, the last contribution concerns the graphic interfaces of the INTERVALES framework which allows users to directly edit procedures and scenarios by defining the expected tasks and associated parameters. This work compared two distinct editors: a 2D user interface based on node graphs and a VR user interface allowing authoring-by-doing. The results of the experimental studies and subsequent analyses make it possible to conclude on the effectiveness of editing by demonstration for sequential procedures and the interest of a hybrid approach for more complex procedures.