Apprentissage de Correspondances Image-Surface

Learning Image-to-Surface Correspondence

• Auteur / Autrice : Riza Alp Guler
• Direction : Iasonas Kokkinos
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques et Informatique
• Date : Soutenance le 08/03/2019
• Etablissement(s) : Université Paris-Saclay (ComUE)
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Centre de vision numérique (Gif-sur-Yvette, Essonne)
• Partenaire(s) de recherche : établissement opérateur d'inscription : CentraleSupélec (2015-....)
• Jury : Président / Présidente : Isabelle Bloch
• Jury : Examinateurs / Examinatrices : Iasonas Kokkinos, Niloy Mitra, Ivan Laptev, Nikos Paragios, Andrea Vedaldi, Stefanos Zafeiriou
• Jury : Rapporteurs / Rapporteuses : Niloy Mitra, Ivan Laptev

Mots clés

Mots clés contrôlés

Réseaux neuronaux (informatique)

Apprentissage automatique

Vision par ordinateur

Mots clés libres

Vision par ordinateur

Apprentissage automatique

Correspondances Dense

Correspondances Image-Surface

Computer Vision

Machine Learning

Dense Correspondence

Image-To-Surface Correspondence

Résumé

Cette thèse se concentre sur le développement demodèles de représentation dense d’objets 3-D àpartir d’images. L’objectif de ce travail estd’améliorer les modèles surfaciques 3-D fournispar les systèmes de vision par ordinateur, enutilisant de nouveaux éléments tirés des images,plutôt que les annotations habituellementutilisées, ou que les modèles basés sur unedivision de l’objet en différents parties.Des réseaux neuronaux convolutifs (CNNs) sontutilisés pour associer de manière dense les pixelsd’une image avec les coordonnées 3-D d’unmodèle de l’objet considéré. Cette méthodepermet de résoudre très simplement unemultitude de tâches de vision par ordinateur,telles que le transfert d’apparence, la localisationde repères ou la segmentation sémantique, enutilisant la correspondance entre une solution surle modèle surfacique 3-D et l’image 2-Dconsidérée. On démontre qu’une correspondancegéométrique entre un modèle 3-D et une imagepeut être établie pour le visage et le corpshumains.

This thesis addresses the task of establishing adense correspondence between an image and a 3Dobject template. We aim to bring vision systemscloser to a surface-based 3D understanding ofobjects by extracting information that iscomplementary to existing landmark- or partbasedrepresentations.We use convolutional neural networks (CNNs)to densely associate pixels with intrinsiccoordinates of 3D object templates. Through theestablished correspondences we effortlesslysolve a multitude of visual tasks, such asappearance transfer, landmark localization andsemantic segmentation by transferring solutionsfrom the template to an image. We show thatgeometric correspondence between an imageand a 3D model can be effectively inferred forboth the human face and the human body.