Reconstruction 3D de scènes d'intérieur à partir de peu d'images

3D reconstruction of interior scenes from few images

• Auteur / Autrice : Gaëtan Landreau
• Direction : Mohamed Tamaazousti
• Type : Projet de thèse
• Discipline(s) : Sciences du traitement du signal et des images
• Date : Inscription en doctorat le 01/04/2021
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'intégration des systèmes et des technologies (Gif-sur-Yvette, Essonne ; 2001-....)
• Partenaire(s) de recherche : Référent : Faculté des sciences d'Orsay

Mots clés

Mots clés libres

Reconstruction 3D

Scènes d'intérieur

Apprentissage profond

3D Reconstruction

Interior scenes

Deep Learning

Résumé

Bien que la reconstruction de scène 3D soit étudiée depuis des décennies, l'avènement des réseaux profonds ces dernières années a permis de s'intéresser à ce problème sous un nouvel angle. Cependant, les contraintes quant aux informations requises pour une telle reconstruction 3D peuvent être nombreuses et coûteuses à obtenir: nombre d'images conséquent, acquisition de cartes de profondeur, connaissance des paramètres (intrinsèques et extrinsèque) de la caméra etc. Les résultats issus de l'état de l'art actuel via l'étude de ces réseaux profonds restent ainsi perfectibles à bien des égards, tant sur la qualité des structures 3D reconstruites que sur l'architecture et les stratégies d'entraînement de ces réseaux profonds. En ce sens, cette thèse s'inscrit dans la continuité des travaux en intelligence artificielle déjà menés sur le sujet tout en cherchant à se distinguer sur quelques aspects. Vis-à-vis des données d'entrée dans un premier temps puisque la reconstruction 3D de scènes doit ainsi pouvoir se faire à partir d'un nombre très limité d'images RGB. Par l'intégration de notions tirées de l'infographie au sein des ces architectures profondes dans un second temps, dans la mesure où encore trop peu de travaux capitalisent sur ce domaine, pourtant essentiel lorsqu'il s'agit de s'intéresser à des questions relatives à la 3D.

Even though 3D scene reconstruction has been studied for decades, the recent breakthrough of deep networks over the past few years allowed to tackle this issue from a new perspective. However, information required for 3D reconstruction might be harsh and costly to obtain: significant number of images, depth maps acquisition, knowledge of the parameters (intrinsic and extrinsic) of the camera, etc. Current results produced by these deep learning-based methods thus remain perfectible in many aspects, either regarding the quality of the reconstructed 3D structures or from deep model architectures and training strategies perspective. In this way, this PhD is in the line with the latest deep learning-based 3D reconstruction works while seeking to distinguish from current state of the art methods in a few aspects. Firstly with respect to the input data, since the 3D scenes reconstruction must be able to perform from a very limited number of RGB images. By also integrating concepts drawn from computer graphics within these deep architectures, since too few works leverage onto a such domain, which remains essential when it comes to deal with 3D issues.