Prédiction de séquences basée sur des réseaux de neurones récurrents dans le contexte des séries temporelles et des sessions de recherche d'information

Sequence Prediction using Recurrent Neural Networks in the Context of Time Series and Information Retrieval Search Sessions

• Auteur / Autrice : Yagmur Gizem Çinar
• Direction : Éric Gaussier
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 20/02/2019
• Etablissement(s) : Université Grenoble Alpes (ComUE)
• Ecole(s) doctorale(s) : École doctorale mathématiques, sciences et technologies de l'information, informatique (Grenoble ; 199.-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire de Génie informatique (Grenoble ; 1989-1995)
• Jury : Président / Présidente : Patrick Gallinari
• Jury : Examinateurs / Examinatrices : Vadim Strijov, Fabio Crestani, Ahlame Douzal-Chouakria
• Jury : Rapporteurs / Rapporteuses : Patrick Gallinari, Lynda Tamine-Lechani

Mots clés

Mots clés contrôlés

Prédiction séquentielle

Séries chronologiques

Réseaux neuronaux (informatique)

Apprentissage automatique

Mots clés libres

Apprentissage automatique

Recherche d'informations

Réseaux de neurones récurrents

Mécanisme d’attention

Prévision de séries temporelles

Prédiction de la requête suivante

Machine learning

Information retrieval

Recurrent neural networks

Attention mechanism

Time series forecasting

Next query prediction

Résumé

Cette thèse examine les défis de la prédiction de séquence dans différents scénarios, tels que la prédiction de séquence à l'aide de réseaux de neurones récurrents (RNN) dans le contexte des séries temporelles et des sessions de recherche d'informations (RI). Prédire les valeurs inconnues suivant certaines valeurs précédemment observées est appelée prédiction de séquence. Elle est largement applicable à de nombreux domaines où un comportement séquentiel est observé dans les données. Dans cette étude, nous nous concentrons sur deux tâches de prédiction de séquences: la prévision de séries temporelles et la prédiction de la requête suivante dans une session de recherche d'informations.Les séries temporelles comprennent souvent des pseudo-périodes, c'est-à-dire des intervalles de temps avec une forte corrélation entre les valeurs des séries temporelles. Les changements saisonniers dans les séries temporelles météorologiques ou la consommation d'électricité le jour et la nuit sont quelques exemples de pseudo-périodes. Dans un scénario de prévision, les pseudo-périodes correspondent à la différence entre les positions de la sortie prévue et les entrées spécifiques. Afin de capturer des périodes dans des RNN, une mémoire de la séquence d'entrée est requise. Les RNN séquence à séquence (avec mécanisme d'attention) réutilisent des (représentations des) valeurs d'entrée spécifiques pour prédire les valeurs de sortie. Les RNN séquence à séquence avec un mécanisme d'attention semblent convenir à la capture de périodes. Ainsi, nous explorons d’abord la capacité d’un mécanisme d’attention dans ce contexte. Cependant, selon notre analyse initiale, un mécanisme d’attention standard ne permet pas de capturer les périodes. Par conséquent, nous proposons un modèle RNN d’attention basé sur le contenu et sensible à la période. Ce modèle étend les RNN séquence à séquence de l'état de l'art avec un mécanisme d’attention. Il vise à capturer les périodes dans une série temporelle avec ou sans valeurs manquantes. Nos résultats expérimentaux avec des RNN contenant un mécanisme d'attention basé sur le contenu et sensible à la période montrent une amélioration significative des performances de prévision des séries temporelles univariées et multivariées sur plusieurs ensembles de données disponibles publiquement.La prédiction de la requête suivante est un autre défi de la prédiction de séquence. La prédiction de la requête suivante aide les utilisateurs à désambiguïser leur requête, à explorer différents aspects de leur besoin en information ou à former une requête précise et succincte qui permet d’optimiser les performances de la recherche. Une session de recherche est dynamique et les besoins en informations d'un utilisateur peuvent changer au cours d'une session de recherche à la suite des interactions de recherche. De plus, les interactions d'un utilisateur avec un moteur de recherche influencent les reformulations de requêtes de l'utilisateur. Considérant cette influence sur les formulations de requête, nous analysons d’abord l’origine des mots des requêtes suivantes. En utilisant l’analyse des sources des mots de requête, nous proposons deux approches de prédiction de requête: une vue d'ensemble et une vue de séquence. La vue d'ensemble adapte une approche de sac de mots en utilisant un nouvel ensemble de traits définis en fonction des sources d'analyse des mots des requêtes suivantes. Ici, la prochaine requête est prédite en utilisant un apprentissage de classification. La vue de séquence étend un modèle RNN hiérarchique en prenant en compte les sources des mots des requêtes suivantes dans la prédiction. Les sources des mots des requêtes suivantes sont incorporées à l'aide d'un mécanisme d'attention sur les mots d'interaction. Nous avons observé que l’utilisation de l’approche séquentielle, une formulation naturelle du problème, et l’exploitation de toutes les sources des mots permettent d’améliorer la prédiction des requêtes suivantes.

This thesis investigates challenges of sequence prediction in different scenarios such as sequence prediction using recurrent neural networks (RNNs) in the context of time series and information retrieval (IR) search sessions. Predicting the unknown values that follow some previously observed values is basically called sequence prediction.It is widely applicable to many domains where a sequential behavior is observed in the data. In this study, we focus on two different types of sequence prediction tasks: time series forecasting and next query prediction in an information retrieval search session.Time series often display pseudo-periods, i.e. time intervals with strong correlation between values of time series. Seasonal changes in weather time series or electricity usage at day and night time are some examples of pseudo-periods. In a forecasting scenario, pseudo-periods correspond to the difference between the positions of the output being predicted and specific inputs.In order to capture periods in RNNs, one needs a memory of the input sequence. Sequence-to-sequence RNNs (with attention mechanism) reuse specific (representations of) input values to predict output values. Sequence-to-sequence RNNs with an attention mechanism seem to be adequate for capturing periods. In this manner, we first explore the capability of an attention mechanism in that context. However, according to our initial analysis, a standard attention mechanism did not perform well to capture the periods. Therefore, we propose a period-aware content-based attention RNN model. This model is an extension of state-of-the-art sequence-to-sequence RNNs with attention mechanism and it is aimed to capture the periods in time series with or without missing values.Our experimental results with period-aware content-based attention RNNs show significant improvement on univariate and multivariate time series forecasting performance on several publicly available data sets.Another challenge in sequence prediction is the next query prediction. The next query prediction helps users to disambiguate their search query, to explore different aspects of the information they need or to form a precise and succint query that leads to higher retrieval performance. A search session is dynamic, and the information need of a user might change over a search session as a result of the search interactions. Furthermore, interactions of a user with a search engine influence the user's query reformulations. Considering this influence on the query formulations, we first analyze where the next query words come from? Using the analysis of the sources of query words, we propose two next query prediction approaches: a set view and a sequence view.The set view adapts a bag-of-words approach using a novel feature set defined based on the sources of next query words analysis. Here, the next query is predicted using learning to rank. The sequence view extends a hierarchical RNN model by considering the sources of next query words in the prediction. The sources of next query words are incorporated by using an attention mechanism on the interaction words. We have observed using sequence approach, a natural formulation of the problem, and exploiting all sources of evidence lead to better next query prediction.