Approche par apprentissage profond pour l'estimation de la disparité pour des grilles de caméras

Deep learning approach for disparity estimation for camera arrays

• Auteur / Autrice : Théo Barrios
• Direction : Céline Loscos
• Type : Thèse de doctorat
• Discipline(s) : Info - Informatique
• Date : Soutenance le 30/06/2023
• Etablissement(s) : Reims
• Ecole(s) doctorale(s) : École doctorale Mathématiques Physique Sciences du Numérique et de l'Ingénieur (Reims ; 2018-)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'Informatique en Calcul Intensif et Image pour la Simulation (LICIIS) - UR 3690 LRC DIGIT (Reims, Marne)
• Jury : Président / Présidente : Daniel Meneveaux
• Jury : Examinateurs / Examinatrices : Céline Loscos, Raphaëlle Chaine, Min H. KIM, Nicolas Passat, Stéphanie Prévost
• Jury : Rapporteurs / Rapporteuses : Raphaëlle Chaine, Min H. KIM

Mots clés

Mots clés contrôlés

Données massives

Apprentissage profond

Caméras

Imagerie tridimensionnelle haute résolution

Technique

Traitement d'images

Vision par ordinateur

Traitement d'images -- Techniques numériques

Mots clés libres

Imagerie 3D

Reconstruction de profondeur

Apprentissage profond

Informatique graphique

Grille de caméras

3D imaging

Depth reconstruction

Deep learning

Computer graphics

Camera array

Résumé

La reconstruction 3D à partir d’images est un problème classique en vision par ordinateur dont les solutions diffèrent suivant la configuration du système de captation (2 à n vues, alignées ou non).Cette thèse s'intéresse à la reconstruction 3D basée disparité à partir d'image Ultra HD captée par une grille planaire de caméras à large baseline.La recherche montre un intérêt croissant pour l'utilisation des méthodes d'apprentissage profond pour la reconstruction basée disparité avec des configurations de caméras connexes, notamment en stéréo, stéréo multi-vue et image plénoptique. Toutefois leur adaptation pour des grilles de caméras avec une large baseline et des images d'entrée Ultra HD reste difficile. Nous proposons donc une approche d'apprentissage profond supervisé avec trois contributions. Tout d'abord, une solution de reconstruction générant pour un point de vue (centre, bord, coin), une carte de disparité en Full HD en temps interactif et en moins de 1.5 seconde pour de l’Ultra HD. Pour permettre un entraînement efficace de cette méthode, nous proposons un jeu de données d'entraînement généré de manière procédurale. Ce jeu permet d'entraîner de façon plus robuste des réseaux plus lourds que ceux proposés dans l’état de l’art pour ce type de configuration. Nous proposons enfin une fonction de perte pour l'entraînement des réseaux de neurones augmentant la précision de la reconstruction sans augmenter la quantité d'outliers. Nous mettons également en avant certaines limites dans l'évaluation des méthodes par réseaux de neurones du fait du non-déterminisme de leur entraînement. Les conclusions tirées de nos expériences prennent en compte cette limitation.

The recovery of 3D information from images is a classic problem in computer vision. Solutions are different depending on the camera system configuration (2 to n views, aligned or not). This thesis focuses on disparity-based reconstruction from Ultra HD images taken from a wide-baseline, two-dimensional camera array. Research has gained interest in applying deep learning methods to similar camera configurations, namely stereo, multi-view stereo, and lightfield. However, their adaptation to wide-baseline camera arrays suffers from scalability issues with Ultra HD input images. We thus propose to approach a deep learning solution with three contributions. First, a deep neural network architecture outputting a disparity map from image inputs, whether they are on center, edge, or corner of a camera array, with interactive computation time for Full HD inputs and less than 1.5 seconds for Ultra HD. To allow efficient training of this architecture, we propose a procedurally generated training dataset. This dataset unlocks training for heavier neural network training than what was possible for this type of camera configuration. We finally propose a training loss function, which increases the precision of reconstruction with no impact on the amount of outliers. We show that our evaluation of deep learning methods can be limited by the nondeterministic nature of deep neural network training. The conclusion we draw from our experiments takes this limitation into account.