Optimisation de la capture de formes et de dimensions précises, via les smartphones du marché, en vue de la reconstitution 3D

Optimization of the capture of precise shapes and dimensions, using market smartphones, for 3D reconstruction

• Auteur / Autrice : Quentin Thisse
• Direction : Dominique Houzet
• Type : Thèse de doctorat
• Discipline(s) : Signal, image, paroles, télécoms
• Date : Soutenance le 09/06/2022
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale électronique, électrotechnique, automatique, traitement du signal (Grenoble ; 199.-....)
• Partenaire(s) de recherche : Laboratoire : Grenoble Images parole signal automatique (2007-....) - GIPSA - COntrol, PErception, Robots, navigation and Intelligent Computing (GIPSA-COPERNIC)
• Jury : Président / Présidente : Olivier Michel
• Jury : Examinateurs / Examinatrices : Dominique Houzet
• Jury : Rapporteur / Rapporteuse : Florence Denis, Nicolas Gac

Mots clés

Mots clés contrôlés

Simulation par ordinateur

Oreille moyenne

Réalité augmentée

Smartphones

Imagerie tridimensionnelle

Vision par ordinateur

Mots clés libres

Vision par Ordinateur

Reconstruction 3D

Structure-From-Motion

Smartphone

Réalité Augmentée

Modélisation d’Oreille

Computer vision

3D reconstruction

Structure-From-Motion

Smartphone

Augmented Reality

Ear Modeling

Résumé

Cette thèse s’inscrit dans le cadre d’un projet commun entre MyFit Solutions et le Gipsa Lab, il s’agit en effet d’un projet mené dans le cadre d’une convention industrielle de formation par la recherche (CIFRE) mené à temps plein en entreprise. Les travaux menés ont eu pour but la conception d’une méthode d’acquisition et la mise en place d’un pipeline permettant de capturer et de reconstruire des scènes fixes le tout en estimant les dimensions de cette dernière à l’aide de smartphones du marché. L’objectif est de fournir des modèles 3D dense, texturé, précis, à l’échelle et sans artefacts. Les cas d’applications sont variés, ils couvrent la modélisation de pièces industrielles jusqu’à la personnalisation de produits liés au corps humains.Ainsi, dans un premier temps, un pipeline de reconstruction 3D a été mise au point afin d’obtenir des modèles de haute qualité. Ce pipeline se démarque par son acquisition des données sur smartphone. Un guide en réalité augmentée a été développé fournissant une sélection d’images-clés pertinente sur les smartphones du marchés. Puis, les données acquises sont envoyées sur un serveur où un pipeline de Structure- from-Motion (SfM) a été mis en place fournissant des modèles denses, texturés et à l’échelle à l’aide des capteurs de smartphones. Enfin, le modèle est raffiné et segmenté dans le but de se séparer des artefacts éventuels. Ce pipeline fournit donc des modèles 3D d’objets de haute qualité, il est également accessible à tous. En effet, l’utilisateur est guidé et capture les données optimales sans aucune connaissance sur la méthode de reconstruction 3D à l’aide de son smartphone. Notre méthode fournit des modèles de qualité défiant les techniques de l’état de l’art.Dans un second temps et pour adresser la problématique de personnalisation de produits liés au corps humains, une méthode de capture de forme de l’oreille a été développée. Cette méthode crée des modèles 3D d’oreille avec une précision accrue au niveau du canal auditif. En effet, l’obtention de modèles précis pour des scènes présentant des zones creuses et difficilement accessibles comme l’intérieur de l’oreille reste un défi. Une méthode a alors été mise au point pour redéfinir la forme de l’entrée du canal auditif à partir d’un modèle 3D d’oreille et d’une série d’images acquise à l’aide d’un smartphone. Ainsi, notre méthode produit des modèles 3D d’oreille dont la qualité de définition de l’entrée du canal auditif est équivalente à celle d’un modèle obtenu par un audioprothésiste.Enfin, nous parcourons quelques applications possibles grâce à notre méthode de capture d’environnement et de reconstruction 3D. Ces cas dénotent de l’envie de My- Fit Solutions de créer des produits personnalisés à l’aide d’une méthode de reconstruction 3D autonome pour l’utilisateur. On remarquera notamment la qualité et la précision des modèles 3D fournis.

This thesis is part of a joint project between MyFit Solutions and the Gipsa Lab, it is indeed a project carried out within the framework of an industrial convention of training by research (CIFRE) carried out full time in company. The work carried out aimed at designing an acquisition method and the implementation of a pipeline to capture and reconstruct fixed scenes while estimating the dimensions of the latter using smartphones of the market. The objective is to provide dense, textured, accurate, scaled and artifact-free 3D models. The use cases are varied, they cover the modeling of industrial parts to the customization of products related to the human body.Thus, in a first step, a 3D reconstruction pipeline has been developed to obtain high quality models. This pipeline is distinguished by its data acquisition on smart- phones. An augmented reality guide was developed providing a selection of relevant key images on the smartphones of the market. Then, the acquired data is sent to a server where a Structure-from-Motion (SfM) pipeline has been implemented providing dense, textured and scaled models using the smartphone sensors. Finally, the model is refined and segmented in order to remove possible artifacts. This pipeline provides high quality 3D models of objects and is accessible to everyone. Indeed, the user is guided and captures the optimal data without any knowledge on the 3D reconstruction method using his smartphone. Our method provides quality models that defy state-of- the-art techniques.In a second step and to address the problem of personalization of products related to the human body, a method of ear shape capture has been developed. This method creates 3D models of the ear with an increased accuracy at the ear canal. Indeed, obtaining accurate models for scenes with hollow and difficult to access areas such as the inside of the ear remains a challenge. A method was then developed to redefine the shape of the ear canal entrance from a 3D ear model and a series of images acquired with a smartphone. Thus, our method produces 3D ear models whose quality of definition of the ear canal entrance is equivalent to that of a model obtained by a hearing care professional.Finally, we go through some possible applications using our environment capture and 3D reconstruction method. These cases show MyFit Solutions’ desire to create personalized products using an autonomous 3D reconstruction method for the user. Of particular note is the quality and accuracy of the 3D models provided.