Études et conception d'algorithmes de reconstruction 3D sur tablettes : génération automatique de modèles 3D éditables de bâtiments existants

Study and Conception of 3D Reconstruction Algorithms on Tablets : Automatic Generation of 3D Editable Models of Existing Buildings

• Auteur / Autrice : Adrien Arnaud
• Direction : Mehdi Ammi
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 03/12/2018
• Etablissement(s) : Université Paris-Saclay (ComUE)
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique pour la mécanique et les sciences de l'ingénieur (Orsay, Essonne ; 1972-2020)
• Partenaire(s) de recherche : établissement opérateur d'inscription : Université Paris-Sud (1970-2019)
• Partenaire(s) de recherche : Entreprise : Rénovation Plaisir Énergie
• Jury : Président / Présidente : Samir Otmane
• Jury : Examinateurs / Examinatrices : Mehdi Ammi, Samir Otmane, Vincent Frémont, Guillaume Moreau, Michèle Gouiffès, Sylvie Treuillet
• Jury : Rapporteurs / Rapporteuses : Vincent Frémont, Guillaume Moreau

Mots clés

Mots clés contrôlés

Analyse de scènes (informatique)

Applications mobiles

Mots clés libres

Reconstruction 3D

Systèmes mobiles

Segmentation 3D

3D reconstruction

Mobile devices

3D segmentation

Résumé

L'objectif de ces travaux de thèse consiste à mettre en place des solutions algorithmiques permettant de reconstruire un modèle 3D éditable d'un environnement intérieur à l'aide d'une tablette équipée d'un capteur de profondeur.Ces travaux s'inscrivent dans le contexte de la rénovation d'intérieur. Les normes Européennes poussent à la rénovation énergétique et à la modélisation 3D des bâtiments existants. Des outils professionnels utilisant des capteurs de type LIDAR permettent de reconstruire des nuages de points de très grande qualité, mais sont coûteux et longs à mettre en œuvre. De plus, il est très difficile d'identifier automatiquement les constituants d'un bâtiment pour en exporter un modèle 3D éditable complet.Dans le cadre de la rénovation d’intérieur, il n'est pas nécessaire de disposer des informations sur l'ensemble du bâtiment, seules les principales dimensions et surfaces sont nécessaires. Nous pouvons alors envisager d'automatiser complètement le processus de modélisation 3D.La mise sur le marché de capteurs de profondeur intégrables sur tablettes, et l'augmentation des capacités de calcul de ces dernières nous permet d'envisager l'adaptation d'algorithmes de reconstruction 3D classiques à ces supports.Au cours de ces travaux, nous avons envisagé deux approches de reconstruction 3D différentes. La première approche s'appuie sur des méthodes de l'état de l'art. Elle consiste à générer un maillage 3D d'un environnement intérieur en temps réel sur tablette, puis d'utiliser ce maillage 3D pour identifier la structure globale du bâtiment (murs, portes et fenêtres). La deuxième approche envisagée consiste à générer un modèle 3D éditable en temps réel, sans passer par un maillage intermédiaire. De cette manière beaucoup plus d'informations sont disponibles pour pouvoir détecter les éléments structuraux. Nous avons en effet à chaque instant donné un nuage de points complet ainsi que l'image couleur correspondante. Nous avons dans un premier temps mis en place deux algorithmes de segmentation planaire en temps réel. Puis, nous avons mis en place un algorithme d'analyse de ces plans permettant d'identifier deux plans identiques sur plusieurs prises de vue différentes. Nous sommes alors capables d'identifier les différents murs contenus dans l'environnement capturé, et nous pouvons mettre à jour leurs informations géométriques en temps réel.

This thesis works consisted to implement algorithmic solutions to reconstruct an editable 3D model of an indoor environment using a tablet equipped with a depth sensor.These works are part of the context of interior renovation. European standards push for energy renovation and 3D modeling of existing buildings. Professional tools using LIDAR-type sensors make it possible to reconstruct high-quality point clouds, but are costly and time-consuming to implement. In addition, it is very difficult to automatically identify the constituents of a building to export a complete editable 3D model.As part of the interior renovation, it is not necessary to have information on the whole building, only the main dimensions and surfaces are necessary. We can then consider completely automating the 3D modeling process.The recent development of depth sensors that can be integrated on tablets, and the improvement of the tablets computation capabilities allows us to consider the adaptation of classical 3D reconstruction algorithms to these supports.During this work, we considered two different 3D reconstruction approaches. The first approach is based on state-of-the-art methods. It consists of generating a 3D mesh of an interior environment in real time on a tablet, then using this 3D mesh to identify the overall structure of the building (walls, doors and windows). The second approach envisaged is to generate a 3D editable model in real time, without passing through an intermediate mesh. In this way much more information is available to be able to detect the structural elements. We have in fact at each given time a complete point cloud as well as the corresponding color image. In a first time we have set up two planar segmentation algorithms in real time. Then, we set up an analysis algorithm of these plans to identify two identical planes on different captures. We are then able to identify the different walls contained in the captured environment, and we can update their geometric information in real-time.