Méthodes d’apprentissage statistique de type « Transfer Learning » pour des données temporelles multivariées

Transfer Learning methods for temporal data

• Auteur / Autrice : Guillaume Richard
• Direction : Nicolas Vayatis, Mathilde Mougeot, Georges Hébrail
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques appliquées
• Date : Soutenance le 07/10/2021
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale de mathématiques Hadamard (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Centre de mathématiques et de leurs applications (1990-2019 ; Cachan, Val-de-Marne) - Centre Borelli (Gif-sur-Yvette, Essonne ; 2020-...)
• Partenaire(s) de recherche : Equipe de recherche : Apprentissage statistique et données massives
• Partenaire(s) de recherche : Référent : École normale supérieure Paris-Saclay (Gif-sur-Yvette, Essonne ; 1912-....)
• Partenaire(s) de recherche : graduate school : Université Paris-Saclay. Graduate School Mathématiques (2020-….)
• Jury : Président / Présidente : Younès Bennani
• Jury : Examinateurs / Examinatrices : Nicolas Vayatis, Mathilde Mougeot, Georges Hébrail, Gianluca Bontempi, Michèle Sebag, Jairo Cugliari
• Jury : Rapporteurs / Rapporteuses : Younès Bennani, Gianluca Bontempi

Mots clés

Mots clés contrôlés

Apprentissage profond

Séries chronologiques

Transfert d'apprentissage

Mots clés libres

Apprentissage automatique

Transfert

Séries temporelles

Machine Learning

Transfer Learning

Time series

Résumé

Dans ce travail, nous proposons de nouvelles méthodes d'apprentissage par transfert pour l'analyse des séries temporelles. Motivés par des applications de désagrégation de la consommation d'électricité des ménages (NILM) et de surveillance de systèmes industriels, nous mettons en lumière le besoin de méthodes spécifiques d'apprentissage par transfert pour les séries temporelles. Après avoir examiné les méthodes existantes d'apprentissage par transfert et d'adaptation de domaine, nous formulons le problème suivant : pouvons-nous extraire des représentations de séries temporelles transférables à de nouveaux jeux de données ? Ansi, notre objectif est de proposer un ensemble de méthodes permettant de transférer une partie des connaissances apprises sur un échantillon de données temporelles sources vers un nouvel échantillon cible ayant des propriétés différentes.Dans une première partie, nous étudions les représentations des séries temporelle utilisant des réseaux de neurones avec pour objectif la reconnaissance d'appareils électroménagers à partir de leur consommation. Nous proposons une méthode de mélange de normalisations permettant une meilleur robustesse à un changement de maison, et donc d'appareils, entre l'apprentissage et l'application du réseau de neurone.Dans une deuxième partie, nous développons un cadre général pour l'adaptation de domaine adverse, s'appliquant aussi bien à des problèmes de classification que de régression. Nous proposons des garanties théoriques et un algorithme d'adaptation de domaine avec plusieurs sources. Bien que l'application principale de la méthode présentée dans ce travail soit un problème de régression, notre cadre est générique et s'applique à la classification. Nos expériences, menées sur des données privées et publiques, montrent l'efficacité de notre méthode.Dans une dernière partie, nous étudions les méthodes d'apprentissage par transfert pour les séries temporelles multivariées se basant sur des leurs matrices de covariance. En représentant les séries temporelles multivariées par leur matrice d'autocovariance, nous développons un cadre d'adaptation de domaine en utilisant la géométrie spécifique de ces matrices.

In this work, we propose novel transfer learning methods for time series analysis. Motivated by applications in household electricity consumption disaggregation (NILM) and industrial monitoring, we investigate traditional tools and show the need for specific transfer learning methods for time series. After reviewing existing transfer learning and domain adaptation frameworks, we formulate the following problem: can we extract transferable features from time series? Namely, our goal is to propose methods to reduce the performance gap when the test data comes from a different sample from the training data. In a first part, we investigate time series pre-processing for neural networks with a view on household consumption. We propose a normalization ensembling method that allows for better robustness when learning on devices from one house and applying on new devices.In a second part, we develop a general framework for adversarial domain adaptation for regression. We provide learning bounds and an algorithm for both single and multi-source domain adaptation. While our focus is on applications for regression, our framework is generic and is applicable to classification. We conduct extensive experiments on both private and public datasets, showing better performance than previous domain adaptation methods.Finally, we investigate transfer learning methods for multivariate time series using covariance information. We represent multivariate time series by their autocovariance matrix and develop a domain adaptation framework using the specific geometry of those matrices. Experiments show the efficiency of the method on synthetic data and promising results on Human Activity Recognition datasets.