Développement de méthodes et outils basés sur la réalité augmentée et virtuelle pour l'assistance ou l'apprentissage d'opérations dans un contexte industriel

Development of methods and tools based on augmented and virtual reality for the assistance and learning of operations in an industrial environment

• Auteur / Autrice : Vincent Havard
• Direction : David Baudry, Xavier Savatier
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 09/02/2018
• Etablissement(s) : Normandie
• Ecole(s) doctorale(s) : École doctorale mathématiques, information et ingénierie des systèmes (Caen)
• Partenaire(s) de recherche : Equipe de recherche : Institut de recherche en systèmes électroniques embarqués (Saint-Étienne-du-Rouvray, Seine-Maritime ; 2001-...)
• Partenaire(s) de recherche : Etablissement de préparation de la thèse : Université de Rouen Normandie (1966-....) - Centre d'études supérieures industrielles (Rouen - Mont-Saint-Aignan) - Ecole supérieure d'ingénieurs en génie électrique (Rouen)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'innovation numérique pour les entreprises et les apprentissages au service de la compétitivité des territoires (Saint-Etienne-du-Rouvray, Seine-Maritime) - Institut de recherche en systèmes électroniques embarqués (Saint-Étienne-du-Rouvray, Seine-Maritime ; 2001-...) - Laboratoire d'innovation numérique pour les entreprises et les apprentissages au service de la compétitivité des territoires (Saint-Etienne-du-Rouvray, Seine-Maritime)
• Jury : Rapporteurs / Rapporteuses : Simon Richir, Ronan Querrec

Mots clés

Mots clés contrôlés

Systèmes homme-machine

Industrie 4.0

Web sémantique

Réalité virtuelle

Applications industrielles

Réalité augmentée

Mots clés libres

Réalité augmentée

Réalité virtuelle

Ontologie

Usage du numérique

Industrie du futur

Augmented reality

Virtual reality

Ontology

Use case

Factory of the future

Résumé

L’adoption du numérique au sein des industries et les évolutions des technologies ouvrent de nouvelles perspectives d’usages de la réalité augmentée (RA) et de la réalité virtuelle (RV). Ainsi, ces technologies peuvent faciliter l’assistance des opérateurs travaillant sur des systèmes industriels complexes en utilisant la RA et permettre la mise en œuvre de formations en RV, améliorant donc leur efficience. Cependant, intégrer ces nouveaux outils aux processus existants de l’entreprise reste complexe, de par les aspects technologiques et le continuum de données à mettre en œuvre, de par l’identification des cas d’usages et des gains associés et de par la diversité d’acteurs et d’experts métiers à impliquer dans ce processus : l’expert du système industriel, l’opérateur, le concepteur et le développeur informatique.Afin d’aborder ces différentes problématiques industrielles et en se basant sur un état de l’art scientifique et technologique, nos travaux de recherche ont porté sur la proposition d’un modèle de données permettant de faciliter la création de contenu en réalité augmentée pour les opérations sur des systèmes industriels. Ces travaux ont également permis de mettre en place un environnement expérimental basé sur une chaîne de production didactique et une application créée grâce à ce modèle.Dans une seconde partie de ce travail, afin d’évaluer l’efficacité de cette technologie, nous avons mis en place une méthode permettant d’évaluer l’usage de la réalité augmentée pour la maintenance de systèmes industriels complexes selon des critères de performances et de satisfactions. L’analyse de deux études de cas montre que la contextualisation de l’information en réalité augmentée permet à l’opérateur de comprendre plus rapidement l’opération à effectuer qu’avec guide papier tout en réduisant certains types d’erreur. De plus, nous proposons des recommandations pour améliorer la pertinence de l’information fournie en réalité augmentée et identifions le type d’opération permettant d’obtenir un gain significatif, grâce à la réalité augmentée. Ces travaux s’intéressent également à l’influence et à la sélection des dispositifs de rendus.Enfin, en nous basant sur le modèle de données de RA, nous proposons une ontologie permettant d’unifier la création de contenu en réalité augmentée et virtuelle afin de former et guider un opérateur dans ses tâches. Nous étudions l’usage de cette ontologie pour exploiter d’autres données et connaissances de l’entreprise telles que celles liées à la maintenance. Cette ontologie est utilisée pour des scénarios de formation dans des environnements industriels et pour l’assistance sur des opérations.

The adoption of digital technologies within industries and the evolution of technologies are opening new perspectives for using augmented reality (AR) and virtual reality (VR). Therefore, those technologies can facilitate the operators’ tasks working on complex industrial systems, either by bringing them some contextualised information in AR or by helping them with VR trainings. Thus they would improve their efficiency. However, integrating these new tools into existing processes of the company remains complex, due to the technologies and the data continuum needed, through the identification of use cases and the associated gains and by the diversity of actors and business experts involved in this process: the expert of the industrial system, the operator, the designer and the computer scientist.In order to develop those different industrial problematics, we first study the state of the art of scientific publications and existing technologies. Then, our research work has proposed a data modelling facilitating content authoring of augmented reality operations on industrial system. This work has also allowed to set up an experimental environment based on an educational production line and an augmented reality application developed thanks to that model.In a second part of this work, and in order to evaluate the efficiency of this technology, we have proposed a methodology allowing to evaluate augmented reality usage for maintenance, repair and operations on industrial systems according to performance, satisfaction and behavioural criteria. We analyse two case studies. They shows that contextualisation of information with augmented reality allows the operator to faster understand the task he needs to carry out than with paper instructions while reducing some kind of errors. Moreover we are proposing some guidelines in order to improve the augmented reality information efficiency. Besides, we are identifying which types of operation are improved with augmented reality. The work is also describing the rendering device influence on the use of augmented reality.Finally, and based on the augmented reality modelling, we are proposing an ontology allowing to unify content authoring of augmented and virtual reality so as to train or guide operator in their tasks. We are studying the use of this ontology for exploiting others data and company knowledge, as maintenance. This ontology is used for training scenarios in industrial environment and for guiding operator during their work.