Apprentissage de représentation factorisée d'image pour découverte visuelle

Learnable factored image representation for visual discovery

• Auteur / Autrice : Théophile Dalens
• Direction : Josef Sivic, Mathieu Aubry
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques
• Date : Soutenance le 16/09/2019
• Etablissement(s) : Paris Sciences et Lettres (ComUE)
• Ecole(s) doctorale(s) : École doctorale Sciences mathématiques de Paris centre (Paris ; 2000-....)
• Partenaire(s) de recherche : Laboratoire : École normale supérieure (Paris ; 1985-....). Département d'informatique
• Partenaire(s) de recherche : établissement de préparation de la thèse : École normale supérieure (Paris ; 1985-....)
• Jury : Président / Présidente : Valérie Gouet-Brunet
• Jury : Examinateurs / Examinatrices : Josef Sivic, Mathieu Aubry, Valérie Gouet-Brunet, Alexei A. Efros, Patrick Pérez
• Jury : Rapporteur / Rapporteuse : Alexei A. Efros, Patrick Pérez

Mots clés

Mots clés contrôlés

Informatique

Mathématiques

Mots clés libres

Apprentissage

Vision par ordinateur

Découverte visuelle

Machine learning

Computer vision

Visual discovery

Résumé

L'objectif de cette thèse est de développer des outils pour analyser les collections d'images temporelles afin d'identifier et de mettre en évidence les tendances visuelles à travers le temps. Cette thèse propose une approche pour l'analyse de données visuelles non appariées annotées avec le temps en générant à quoi auraient ressemblé les images si elles avaient été d'époques différentes. Pour isoler et transférer les variations d'apparence dépendantes du temps, nous introduisons un nouveau module bilinéaire de séparation de facteurs qui peut être entraîné. Nous analysons sa relation avec les représentations factorisées classiques et les auto-encodeurs basés sur la concaténation. Nous montrons que ce nouveau module présente des avantages par rapport à un module standard de concaténation lorsqu'il est utilisé dans une architecture de réseau de neurones convolutionnel encodeur-décodeur à goulot. Nous montrons également qu'il peut être inséré dans une architecture récente de traduction d'images à adversaire, permettant la transformation d'images à différentes périodes de temps cibles en utilisant un seul réseau.

This thesis proposes an approach for analyzing unpaired visual data annotated with time stamps by generating how images would have looked like if they were from different times. To isolate and transfer time dependent appearance variations, we introduce a new trainable bilinear factor separation module. We analyze its relation to classical factored representations and concatenation-based auto-encoders. We demonstrate this new module has clear advantages compared to standard concatenation when used in a bottleneck encoder-decoder convolutional neural network architecture. We also show that it can be inserted in a recent adversarial image translation architecture, enabling the image transformation to multiple different target time periods using a single network.