Estimation des correspondances entre images par réseaux de neurones convolutifs

Neural architectures for estimating correspondences between images

• Auteur / Autrice : Ignacio Rocco
• Direction : Josef Sivic, Relja Arandjelovic
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 27/10/2020
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : École doctorale Sciences mathématiques de Paris centre (Paris ; 2000-....)
• Partenaire(s) de recherche : Laboratoire : École normale supérieure (Paris ; 1985-....). Département d'informatique
• Partenaire(s) de recherche : établissement de préparation de la thèse : École normale supérieure (Paris ; 1985-....)
• Partenaire(s) de recherche : Equipe de recherche : Équipe de recherche Models of visual object recognition and scene understanding (Paris)
• Jury : Président / Présidente : Vincent Lepetit
• Jury : Examinateurs / Examinatrices : Josef Sivic, Relja Arandjelovic, Vincent Lepetit, Andrea Vedaldi, Diane Larlus, Patrick Pérez
• Jury : Rapporteurs / Rapporteuses : Vincent Lepetit, Andrea Vedaldi

Mots clés

Mots clés contrôlés

Informatique

Mots clés libres

Vision par ordinateur

Estimation de correspondances

Apprentissage profond

Apprentissage faiblement supervisé

Computer vision

Correspondence estimation

Deep learning

Weakly-Supervised learning

Résumé

L’objectif de cette thèse est de développer des méthodes pour la mise en correspondance entre de paires d'images dans des situations difficiles, telles que des changements extrêmes d'éclairage, des scènes avec peu de texture ou comprenant des structures répétitives, ou la mise en correspondance entre parties d'objets qui appartiennent à la même classe mais qui peuvent présenter de grandes différences d'apparence intra-classe. Nos contributions sont les suivantes : (i) nous développons une approche entraînable pour l'alignement paramétrique d'images en utilisant un modèle de réseau siamois, (ii) nous concevons une approche d'entraînement faiblement supervisée, qui permet l'entraînement à partir de paires d'images réelles annotées seulement au niveau des paires d'images, (iii) nous proposons les Réseaux de Consensus de Voisinage qui peuvent être utilisés pour estimer de manière robuste les correspondances pour des tâches où des correspondances discrètes sont requises et (iv) nous développons une variante plus efficace qui peut réduire les besoins en mémoire et le temps d'exécution des Réseaux de Consensus de Voisinage par un facteur dix.

The goal of this thesis is to develop methods for establishing correspondences between pairs of images in challenging situations, such as extreme illumination changes, scenes with little texture or with repetitive structures, and matching parts of objects which belong to the same class, but which may have large intra-class appearance differences. In summary, our contributions are the following: (i) we develop a trainable approach for parametric image alignment by means of a siamese network model, (ii) we devise a weakly-supervised training approach, which allow training from real image pairs having only annotation at the level of image-pairs, (iii) we propose the Neighbourhood Consensus Networks which can be used to robustly estimate correspondences in tasks where discrete correspondences are required, and (iv) because the dense formulation of the Neighbourhood Consensus Networks is memory and computationally intensive, we develop a more efficient variant that can reduce the memory requirements and run-time by more than ten times.