Modélisation des séries temporelles par apprentissage profond

Time series modeling with deep learning

• Auteur / Autrice : Vanessa Haykal
• Direction : Hubert Cardot, Nicolas Ragot
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 02/12/2019
• Etablissement(s) : Tours
• Ecole(s) doctorale(s) : École doctorale Mathématiques, Informatique, Physique Théorique et Ingénierie des Systèmes (Centre-Val de Loire ; 2012-....)
• Partenaire(s) de recherche : Equipe de recherche : Laboratoire d'Informatique Fondamentale et Appliquée de Tours (2012-...)
• Partenaire(s) de recherche : Laboratoire : École polytechnique universitaire (Tours)
• Jury : Président / Présidente : Romuald Boné
• Jury : Rapporteurs / Rapporteuses : Jean-Marc Salotti, Jean-Michel Loubès

Mots clés

Mots clés contrôlés

Architecture -- Informatique

Bruit électronique

Réseaux neuronaux (informatique)

Modèles de Markov cachés

Apprentissage profond

Modèles mathématiques

Séries chronologiques

Mots clés libres

Réseaux neuronaux convolutifs

Réseaux neuronaux récurrents

Time series

Deep learning

Hybrid models

Convolutional neural networks

Long short-term memory network

Noise reduction principle

Switching regime

Hidden Markov models

Multi-resolution technics

Variational mode decomposition

Résumé

La prévision des séries temporelles est un problème qui est traité depuis de nombreuses années. Dans cette thèse, on s’est intéressé aux méthodes issues de l’apprentissage profond. Il est bien connu que si les relations entre les données sont temporelles, il est difficile de les analyser et de les prévoir avec précision en raison des tendances non linéaires et du bruit présent, spécifiquement pour les séries financières et électriques. A partir de ce contexte, nous proposons une nouvelle architecture de réduction de bruit qui modélise des séries d’erreurs récursives pour améliorer les prévisions. L’apprentissage hybride fusionne simultanément un réseau de neurones convolutifs (CNN) et un réseau récurrent à mémoire long et court termes (LSTM). Ce modèle se distingue par sa capacité à capturer globalement différentes propriétés telles que les caractéristiques locales du signal, d’apprendre les dépendances non linéaires à long terme et de s’adapter également à une résistance élevée au bruit. La seconde contribution concerne les limitations des approches globales en raison des changements de régimes dynamiques dans le signal. Nous présentons donc une modification locale non-supervisée de notre architecture précédente afin d’ajuster les résultats en pilotant le modèle par un modèle de Markov caché (HMM). Enfin, on s’est également intéressé aux techniques de multi-résolutions pour améliorer les performances des couches convolutives, notamment par la méthode de décomposition en mode variationnel (VMD).

Time series prediction is a problem that has been addressed for many years. In this thesis, we have been interested in methods resulting from deep learning. It is well known that if the relationships between the data are temporal, it is difficult to analyze and predict accurately due to non-linear trends and the existence of noise specifically in the financial and electrical series. From this context, we propose a new hybrid noise reduction architecture that models the recursive error series to improve predictions. The learning process fusessimultaneouslyaconvolutionalneuralnetwork(CNN)andarecurrentlongshort-term memory network (LSTM). This model is distinguished by its ability to capture globally a variety of hybrid properties, where it is able to extract local signal features, to learn long-term and non-linear dependencies, and to have a high noise resistance. The second contribution concerns the limitations of the global approaches because of the dynamic switching regimes in the signal. We present a local unsupervised modification with our previous architecture in order to adjust the results by adapting the Hidden Markov Model (HMM). Finally, we were also interested in multi-resolution techniques to improve the performance of the convolutional layers, notably by using the variational mode decomposition method (VMD).