Thèse soutenue

Approches jointes texte/image pour la compréhension multimodale de documents
FR  |  
EN
Accès à la thèse
Auteur / Autrice : Sébastien Delecraz
Direction : Frédéric BéchetBenoît Favre
Type : Thèse de doctorat
Discipline(s) : Informatique
Date : Soutenance le 10/12/2018
Etablissement(s) : Aix-Marseille
Ecole(s) doctorale(s) : Ecole Doctorale Mathématiques et Informatique de Marseille (Marseille)
Partenaire(s) de recherche : Laboratoire : LIS Laboratoire d’Informatique et Systèmes. UMR CNRS 7020 (Marseille, Toulon)
Jury : Président / Présidente : Yannick Estève
Examinateurs / Examinatrices : Meriem Bendris, Lauriane Aufrant, Alexis Nasr
Rapporteurs / Rapporteuses : Benoît Sagot, Guillaume Gravier

Résumé

FR  |  
EN

Les mécanismes de compréhension chez l'être humain sont par essence multimodaux. Comprendre le monde qui l'entoure revient chez l'être humain à fusionner l'information issue de l'ensemble de ses récepteurs sensoriels. La plupart des documents utilisés en traitement automatique de l'information sont multimodaux. Par exemple, du texte et des images dans des documents textuels ou des images et du son dans des documents vidéo. Cependant, les traitements qui leurs sont appliqués sont le plus souvent monomodaux. Le but de cette thèse est de proposer des traitements joints s'appliquant principalement au texte et à l'image pour le traitement de documents multimodaux à travers deux études : l'une portant sur la fusion multimodale pour la reconnaissance du rôle du locuteur dans des émissions télévisuelles, l'autre portant sur la complémentarité des modalités pour une tâche d'analyse linguistique sur des corpus d'images avec légendes. Pour la première étude nous nous intéressons à l'analyse de documents audiovisuels provenant de chaînes d'information télévisuelle. Nous proposons une approche utilisant des réseaux de neurones profonds pour la création d'une représentation jointe multimodale pour les représentations et la fusion des modalités. Dans la seconde partie de cette thèse nous nous intéressons aux approches permettant d'utiliser plusieurs sources d'informations multimodales pour une tâche monomodale de traitement automatique du langage, afin d'étudier leur complémentarité. Nous proposons un système complet de correction de rattachements prépositionnels utilisant de l'information visuelle, entraîné sur un corpus multimodal d'images avec légendes.