Thèse soutenue

Architectures neuronales profondes pour l'apprentissage de représentation multimodales de données multimédias

FR  |  
EN
Auteur / Autrice : Verdran Vukotic
Direction : Guillaume Gravier
Type : Thèse de doctorat
Discipline(s) : Informatique
Date : Soutenance le 26/09/2017
Etablissement(s) : Rennes, INSA
Ecole(s) doctorale(s) : École doctorale Mathématiques et sciences et technologies de l'information et de la communication (Rennes)
Partenaire(s) de recherche : Laboratoire : Institut de recherche en informatique et systèmes aléatoires (Rennes) - Institut national de recherche en informatique et en automatique (France). Unité de recherche (Rennes, Bretagne-Atlantique) - Inria Rennes – Bretagne Atlantique - Institut de Recherche en Informatique et Systèmes Aléatoires - LinkMedia
Université : Technische universiteit (Delft, Pays-Bas). Faculty of architecture
Jury : Président / Présidente : Georges Quénot
Examinateurs / Examinatrices : Guillaume Gravier, Georges Quénot, Martha Larson, Tinne Tuytelaars, Benoit Huet, Christian Raymond
Rapporteurs / Rapporteuses : Martha Larson, Tinne Tuytelaars

Résumé

FR  |  
EN

La thèse porte sur le développement d'architectures neuronales profondes permettant d'analyser des contenus textuels ou visuels, ou la combinaison des deux. De manière générale, le travail tire parti de la capacité des réseaux de neurones à apprendre des représentations abstraites. Les principales contributions de la thèse sont les suivantes: 1) Réseaux récurrents pour la compréhension de la parole: différentes architectures de réseaux sont comparées pour cette tâche sur leurs facultés à modéliser les observations ainsi que les dépendances sur les étiquettes à prédire. 2) Prédiction d’image et de mouvement : nous proposons une architecture permettant d'apprendre une représentation d'une image représentant une action humaine afin de prédire l'évolution du mouvement dans une vidéo ; l'originalité du modèle proposé réside dans sa capacité à prédire des images à une distance arbitraire dans une vidéo. 3) Encodeurs bidirectionnels multimodaux : le résultat majeur de la thèse concerne la proposition d'un réseau bidirectionnel permettant de traduire une modalité en une autre, offrant ainsi la possibilité de représenter conjointement plusieurs modalités. L'approche été étudiée principalement en structuration de collections de vidéos, dons le cadre d'évaluations internationales où l'approche proposée s'est imposée comme l'état de l'art. 4) Réseaux adverses pour la fusion multimodale: la thèse propose d'utiliser les architectures génératives adverses pour apprendre des représentations multimodales en offrant la possibilité de visualiser les représentations dans l'espace des images.