Détection 3D pour la réalité mixte en maintenance industrielle

3D detection for industrial mixte reality maintenance applications

• Auteur / Autrice : Philippe Pérez de san roman
• Direction : Pascal Desbarats, Jean-Philippe Domenger
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 09/12/2022
• Etablissement(s) : Bordeaux
• Ecole(s) doctorale(s) : École doctorale de mathématiques et informatique (Talence, Gironde ; 1991-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire bordelais de recherche en informatique
• Jury : Président / Présidente : Bertrand Kerautret
• Jury : Rapporteurs / Rapporteuses : Bertrand Kerautret, Pascal Ballet

Mots clés

Mots clés contrôlés

Imagerie tridimensionnelle

Traitement d'images -- Techniques numériques

Vision par ordinateur

Mots clés libres

Classification d'images

Détection d'objets

Estimation des six degrés de libertés

Vision par ordinateur

Apprentissage profond

CNNs

Image classification

Object detection

6dof pose estimation

Computer vision

Deep learning

CNNs

Résumé

ITECA est développeur du logiciel WITTY3D qui est solution d'aide à la maintenance.Une IA aide au diagnostique et à la résolution des pannes, le tout accompagné de visuels 3D pour situer les informations et d'animations pour les expliquer.Ce logiciel est aujourd'hui déployer sur PC fixes, PC portables, tablettes et smart-phones.Comparé à des documents textes et des schémas 2D l'affichage 3D permet aux techniciens de plus facilement interpréter les informations affichés mais le problème ne disparaît pas complètement.Il à toujours besoin d'interpréter et transposer les informations virtuelles qui lui sont présentées à la réalité de terrain.Hors toute interprétation requière un effort cognitif et est sources d'erreurs.Pour outrepasser ces limitations ITECA souhaite faire évoluer WITTY3D en le portant sur des casques de réalités mixtes comme le Hololens de Microsoft.Ces casque utilisent des écrans transparents pour afficher des images directement devant les yeux de l'utilisateur.L'effet de perspective est alors parfait et permet de calquer les visuels virtuels sur l’environnement réel qui reste visible à travers la visière du casque.Ces casques fournissent le matériel d'affichage mais c'est au développeur de se doter des outils logiciels pour recaler correctement les visuels.Plus précisément le logiciel doit inférer la position et l'orientation des objets d’intérêts en 3D par rapport au casque.Ce problème est connue dans la littérature comme celui de l'estimation des six degrés de liberté d'un objet (estimation des 6DoF).La solutions à ce problème est des réseaux de neurones pour identifier, localiser dans l'image, et localiser en 3D, l'objet d’intérêt.Dans cette thèse nous avons considéré AlexNet, VGG-19 et GoogLeNet pour la classification d'images, YOLO pour la localisation dans l'image, et PoseNet et BB8 pour l'estimation des 6DoF.Nous les avons évalués sur trois jeux de données de l'état de l'art pour l'estimation des 6DoF: LINEMOD, T-LESS et YCB-VIDÉO.Pour PoseNet et BB8 nous souhaitions entraîner et tester les réseaux sur les mêmes images pour faire ressortir les différences dans le choix de l'architecture ou de la modélisation de la pose utilisée (3D/2D).Les résultats de classifications d'images d'AlexNet, VGG-19 et GoogLeNet sont très bon sur ces jeux de données qui proposent moins de catégories d'objets et moins de facteurs de difficultés, sauf sur T-LESS qui ne propose pas assez d'images d'entraînements et dont les étiquettes sont ambiguës à causes des sous-parties d'objets communes à plusieurs objets.Nous n'avons pas approfondis la localisation d'objets dans l'image.Bien que nous ayons obtenus de résultats intéressants sur LINEMOD, les résultats sont peu concluants sur YCB-VIDÉO, et nous ne l'avons pas testé sur T-LESS par manque d'images d'entraînements.Pour ce qui de l'estimation des 6DoF, les résultats sont prometteurs sur LINEMOD, surtout pour BB8 qui sans augmentation d'images avancés recalle correctement les objets en 2D dans 22.87% des images de tests.Mais pour PoseNet, ou sur les autres jeux de données, nous avons avons rencontrés des problèmes de sur-spécialisations.Ces problème sont dut au fait que ces trois jeux de données repose sur l'utilisation de plus d'augmentations d'images qu'il ne nous en ait permis avec PoseNet, ou sur l'utilisation de rendus 3D photoréalistiques comme images de substitutions.Les sur-spécialisation observé sont dut au fait que deux des jeux de données considérés ne sont pas conçut pour entraîner des réseaux de neurones, et le troisième est destiner à des applications de préhension robotiques ce qui n'est pas notre objectif.Plusieurs problèmes de qualités des étiquettes sont aussi apparus et de façon général ces jeux de données propose des points de vues distants ou mal distribués.Tout cela ne permet pas d'entraîner des réseaux de 6DoF, et encore moins avec une précision inférieur au centimètre en 3D ou au pixel en 2D....

ITECA is the developer of the WITTY3D software which is a maintenance aid solution.An AI helps with the diagnosis and resolution of breakdowns, all accompanied by 3D visuals to locate the information and animations to explain it.This software is now deployed on desktop PCs, laptops, tablets and smart-phones.Compared to text documents and 2D diagrams, the 3D display makes it easier for technicians to interpret the information displayed, but the problem does not disappear completely.He always needs to interpret and transpose the virtual information presented to him to the reality on the ground.However, any interpretation requires a cognitive effort and is a source of error.To overcome these limitations ITECA wishes to port WITTY3D on mixed reality headsets such as Microsoft's Hololens.These headsets use transparent screens to display images directly in front of the user's eyes.The perspective effect is then perfect and makes it possible to model the virtual visuals on the real environment which remains visible through the visor of the helmet.These helmets provide the display material but it is up to the developer to develop the software tools to correctly readjust the visuals.More precisely, the software must infer the position and orientation of the objects of interest in 3D with respect to the helmet.This problem is known in the literature as that of the estimation of the six degrees of freedom of an object (6DoF pose estimation).The solution to this problem is neural networks to identify, localize in the image, and localize in 3D, the object of interest.In this thesis we considered AlexNet, VGG-19 and GoogLeNet for image classification, YOLO for image localization, and PoseNet and BB8 for 6DoF pose estimation.We evaluated them on three state-of-the-art datasets for 6DoF estimation: LINEMOD, T-LESS and YCB-VIDEO.For PoseNet and BB8 we wanted to train and test the networks on the same images to highlight the differences in the choice of architecture or pose modeling (3D/2D).The image classification results from AlexNet, VGG-19 and GoogLeNet are very good on these datasets which offer fewer categories of objects and fewer difficulty factors, except on T-LESS which does not offer enough training images and whose labels are ambiguous because of the sub-parts common to several objects.We did not investigate the localization of objects in the image.Although we have obtained interesting results on LINEMOD, the results are inconclusive on YCB-VIDEO, and we have not tested it on T-LESS for lack of training images.As for the 6DoF estimation, the results are promising on LINEMOD, especially for BB8 which without advanced frame enhancement correctly recalls 2D objects in 22.87% of the test frames.But for PoseNet, or on the other datasets, we encountered problems of over-specializations.These problems are due to the fact that these three datasets rely on the use of more image enhancements than we are allowed with PoseNet, or on the use of photorealistic 3D renderings as image substitutes.The over-specialization observed is due to the fact that two of the datasets considered are not designed to train neural networks, and the third is intended for robotic gripping applications, which is not our objective.Several label quality problems have also appeared and in general these datasets offer distant or poorly distributed points of view.All this does not make it possible to train 6DoF networks, and even less with a precision of less than a centimeter in 3D or a pixel in 2D....