Prediction of structured opinion outputs : theoretical and methodological aspects

Prédiction de modèles structurés d'opinion : aspects théoriques et méthodologiques

• Auteur / Autrice : Alexandre Garcia
• Direction : Florence d' Alché-Buc
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 18/11/2019
• Etablissement(s) : Université Paris-Saclay (ComUE)
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : établissement de préparation de la thèse : Télécom Paris (Palaiseau ; 1977-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Traitement et communication de l'information (Paris ; 2003-....)
• Jury : Président / Présidente : Alexandre Allauzen
• Jury : Examinateurs / Examinatrices : Alessandro Rudi, Aurélien Bellet, Slim Essid, Chloé Clavel
• Jury : Rapporteurs / Rapporteuses : Thierry Artières, Massimiliano Pontil

Mots clés

Mots clés contrôlés

Attitude

Apprentissage automatique

Mots clés libres

Prédiction structurée

Apprentissage statistique

Détection d'opinion

Audio/multimedia

Langage naturel

Structured prediction

Statistical learning

Opinion detection

Multimedia

Natural language

Résumé

La recrudescence de contenus dans lesquels les clients expriment leurs opinions relativement à des produits de consommation a fait de l'analyse d'opinion un sujet d'intérêt pour la recherche en apprentissage automatique. Cependant, prédire une opinion est un tâche difficile et parmi les modèles à disposition, peu sont capables de capturer la complexité de tels objets. Les approches actuelles reposent sur la prédiction de représentations simplifiées d'expressions affectives. Par exemple, il est possible de se restreindre à la reconnaissance de l'attribut de valence. Cette thèse propose d'étudier le problème de la construction de modèles structurés capables de tirer parti des dépendances entre les différentes composantes des opinions. Dans ce contexte, le choix d'un modèle d'opinion a des conséquences sur la complexité du problème d'apprentissage et sur les propriétés statistiques des fonctions de prédiction associées. Nous étudions 2 problèmes classique de l'analyse d'opinion pour lesquels nous mettons en oeuvre des modèles à base de fonctions à noyau de sortie permettant d'illustrer le compromis précision-complexité de la procédure d'apprentissage. Un second aspect de cette thèse repose sur l'adaptation de méthodes issues de l'état de l'art à un jeu de données comportant des données d'opinion à la structure complexe. Nous proposons une approche basée sur l'apprentissage profond pour prendre en contre jointement les différentes étiquettes du modèle d'opinions. Une nouvelle architecture hiérarchique est introduite issue de la fusion de structures précédemment proposées en les étendant à un jeu de données multimodal. Nous montrons que notre approche fournit des résultats compétitifs par rapport à des architectures traitant séparément les différentes représentations des opinions ce qui soulève des nouvelles questions concernant les stratégies optimales de traitement de données définies selon une hiérarchie .

Opinion mining has emerged as a hot topic in the machine learning community due to the recent availability of large amounts of opinionated data expressing customer's attitude towards merchandisable goods. Yet, predicting opinions is not easy due to the lack of computational models able to capture the complexity of the underlying objects at hand. Current approaches consist in predicting simple representations of the affective expressions, for example by restricting themselves to the valence attribute. This thesis focuses on the question of building structured output models able to jointly predict the different components of opinions in order to take advantage of the dependency between their parts. In this context, the choice of an opinion model has some consequences on the complexity of the learning problem and the statistical properties of the resulting predictors. We study 2 classical problems of opinion mining in which we instantiate squared surrogate based structured output learning techniques to illustrate the accuracy-complexity tradeoff arising when building opinion predictors. A second aspect of this thesis is to handle a newly released multimodal dataset containing entity and valence annotations at different granularity levels providing a complex representation of the underlying expressed opinions. We propose a deep learning based approach able to take advantage of the different labeled parts of the output objects by learning to jointly predict them. We propose a novel hierarchical architecture composed of different state-of-the-art multimodal neural layers and study the effect of different learning strategies in this joint prediction context. The resulting model is shown to improve over the performance of separate opinion component predictors and raises new questions concerning the optimal treatment of hierarchical labels in a structured prediction context. This thesis focuses on the question of building structured output models able to jointly predict the different components of opinions in order to take advantage of the dependency between their parts. In this context, the choice of an opinion model has some consequences on the complexity of the learning problem and the statistical properties of the resulting predictors. We specifically analyzed the case of preference based learning and joint entity and valence detection under a 2 layer binary tree representation in order to derive excess risk bounds and an analysis of the learning procedure algorithmic complexity. In these two settings, the output objects can be decomposed over a set of interacting parts with radical differences. However, we treat both problems under the same angle of squared surrogate based structured output learning and discuss the specificities of the two problem specifications. A second aspect of this thesis is to handle a newly released multimodal dataset containing entity and valence annotations at different granularity levels providing a complex representation of the underlying expressed opinions. In this context of large scale multimodal data with multiple granularity annotations, designing a dedicated model is quite challenging. Hence, we propose a deep learning based approach able to take advantage of the different labeled parts of the output objects by learning to jointly predict them. We propose a novel hierarchical architecture composed of different state-of-the-art multimodal neural layers and study the effect of different learning strategies in this joint prediction context. The resulting model is shown to improve over the performance of separate opinion component predictors and raises new questions concerning the optimal treatment of hierarchical labels in a structured prediction context.