Caractérisation de l'environnement par apprentissage profond s'appuyant sur un jeu de données à grande échelle et différents types de données

Characterization of the indoor environment by deep learning, based on a large-scale dataset and different types of data

• Auteur / Autrice : Maxime Merizette
• Direction : Jérôme Verdun
• Type : Projet de thèse
• Discipline(s) : Sciences pour l'ingénieur spécialité Informatique
• Date : Inscription en doctorat le 01/06/2022
• Etablissement(s) : Paris, HESAM
• Ecole(s) doctorale(s) : École doctorale Sciences des métiers de l'ingénieur (Paris)
• Partenaire(s) de recherche : Laboratoire : GeF - Laboratoire Géomatique et Foncier
• Partenaire(s) de recherche : Equipe de recherche : Géomatique
• Partenaire(s) de recherche : établissement de préparation de la thèse : Conservatoire national des arts et métiers (France)

Mots clés

Mots clés libres

Technologies LiDAR

Nuages de points 3D

Maquette numérique 3D

Segmentation

Apprentissage multimodal

Transfert d'apprentissage

LiDAR technologies

3D point clouds

3D digital model

Segmentation

Multimodal learning

Learning transfer

Résumé

Les nouvelles technologies LiDAR d'acquisition de données tridimensionnelles permettent aujourd'hui de numériser notre environnement de façon simple et rapide, sous forme de nuages de points dont la qualité ne cesse de s'améliorer. Si ces technologies permettent une acquisition plus rapide et plus simple, l'obtention d'un modèle 3D reste complexe à réaliser. L'une des voies d'amélioration de cette étape consiste à rendre quasi-automatique la modélisation de certains éléments du nuage de points par détection. Concernant la segmentation de nuages de points d'intérieur de bâtiments par apprentissage profond supervisé, il existe peu de jeux de données d'apprentissage. Et il s'avère que la plupart des jeux de données contiennent relativement peu de points et peu de classes par rapport à des cas d'usage industriels. En guise d'exemples S3DIS contient 273 millions de points et 13 classes, alors que les scanners laser terrestres permettent de relever des millions de points par station. Un des défis sera de créer un jeu de données d'apprentissage à grande échelle. Le but étant de développer une méthode d'annotation automatique à partir des données acquises par QUARTA. Aujourd'hui les technologies d'acquisition permettent, en plus du nuage de points, l'enregistrement de plus en plus rapide d'image. Un autre objectif de cette thèse sera d'étudier l'apport des images pour la segmentation de petits éléments. L'idée est de s'appuyer sur les images pour améliorer la segmentation de certains éléments difficilement reconnaissables dans un nuage de points. L'objectif est donc de construire des modèles multimodaux capables de fusionner des données hétérogènes pour mieux segmenter des nuages de points 3D. Les règles de l'art du métier de géomètre imposent de qualifier systématiquement l'incertitude attachée à l'ensemble des travaux topographiques. Cette règle s'applique sur les modèles 3D. Au cours de cette thèse, différentes recherches devront être réalisées pour déterminer les incertitudes de prédiction réalisées par les réseaux de neurones.

New LiDAR technologies for acquiring tridimensional data now make it possible to digitalize our environment in a simple and fast way, in the form of point clouds whose quality is constantly improving. If these technologies allow faster and simpler acquisition, obtaining a 3D model remains complex to achieve. One of the ways of improving this process consists in making the modeling of certain elements of the point cloud almost automatically by detection. Regarding building indoor point cloud segmentation by supervised deep learning, there are few training datasets. And it turns out that most datasets include relatively few points and few classes compared to industrial use cases. For example, S3DIS contains 273 million points and 13 classes, whereas terrestrial laser scanners can record millions of points per scan setup. One of the challenges will be to create a large-scale training dataset. The goal is to develop an automatic annotation method from the data acquired by QUARTA. Today, acquisition technologies allow, in addition to the point cloud, increasingly rapid image logging. Another goal of this thesis will be to study the contribution of images for the segmentation of small elements. The idea is to rely on images to improve the segmentation of certain elements that are difficult to recognize in a point cloud. The goal is therefore to build multimodal models able of merging heterogeneous data to better segment 3D point clouds. The standard practice of the profession of land surveyor requires systematic qualification of the uncertainty attached to all topographic works. This rule applies to 3D models. During this thesis, different research will have to be carried out to determine the prediction uncertainties achieved by neural networks.