Estimation de modèles autorégressifs vectoriels à noyaux à valeur opérateur : Application à l'inférence de réseaux

Estimation of operator-valued kernel-based vector autoregressive models : Application to network inference

• Auteur / Autrice : Néhémy Lim
• Direction : Florence d' Alché-Buc
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 02/04/2015
• Etablissement(s) : Evry-Val d'Essonne
• Ecole(s) doctorale(s) : École doctorale Sciences et Ingénierie (Evry ; 2008-2015)
• Jury : Président / Présidente : Jean-Marc Delosme
• Jury : Examinateurs / Examinatrices : Cédric Auliac, Pierre Geurts, Massimiliano Pontil, Cédric Auliac
• Jury : Rapporteurs / Rapporteuses : Alain Rakotomamonjy, Jean-Phillipe Vert

Mots clés

Mots clés contrôlés

Statistique bayésienne

ARCH, Modèles

Mots clés libres

Modèles autorégressifs vectoriels

Vector autoregressive models

Résumé

Dans l’analyse des séries temporelles multivariées, la plupart des modèles existants sont utilisés à des fins de prévision, c’est-à-dire pour estimer les valeurs futures du système étudié à partir d’un historique de valeurs observées dans le passé. Une autre tâche consiste à extraire des causalités entre les variables d’un système dynamique. C’est pour ce dernier problème à visée explicative que nous développons une série d’outils. À cette fin, nous définissons dans cette thèse une nouvelle famille de modèles autorégressifs vectoriels non paramétriques construits à partir de noyaux à valeur opérateur. En faisant l’hypothèse d’une structure sous-jacente creuse, la parcimonie du modèle est contrôlée en imposant dans la fonction de coût des contraintes de parcimonie aux paramètres du modèle (qui sont en l’occurrence des vecteurs qui pondèrent une combinaison linéaire de noyaux). Les noyaux étudiés possèdent parfois des hyperparamètres qui doivent être appris selon la nature du problème considéré. Lorsque des hypothèses de travail ou des connaissances expertes permettent de fixer les paramètres du noyau, le problème d’apprentissage se réduit à la seule estimation des paramètres du modèle. Pour optimiser la fonction de coût correspondante, nous développons un algorithme proximal. A contrario, lorsqu’aucune hypothèse relative aux variables n’est disponible, les paramètres de certains noyaux ne peuvent être fixés a priori. Il est alors nécessaire d’apprendre conjointement les paramètres du modèle et ceux du noyau. Pour cela, nous faisons appel à un schéma d’optimisation alterné qui met en jeu des méthodes proximales. Nous proposons ensuite d’extraire un estimateur de la matrice d’adjacence encodant le réseau causal sous-jacent en calculant une statistique des matrices jacobiennes instantanées. Dans le cas de la grande dimension, c’est-à-dire un nombre insuffisant de données par rapport au nombre de variables, nous mettons en oeuvre une approche d’ensemble qui partage des caractéristiques du boosting et des forêts aléatoires. Afin de démontrer l’efficacité de nos modèles, nous les appliquons à deux jeux de données : des données simulées à partir de réseaux de régulation génique et des données réelles sur le climat.

In multivariate time series analysis, existing models are often used for forecasting, i.e. estimating future values of the observed system based on previously observed values. Another purpose is to find causal relationships among a set of state variables within a dynamical system. We focus on the latter and develop tools in order to address this problem. In this thesis, we define a new family of nonparametric vector autoregressive models based on operator-valued kernels. Assuming a sparse underlying structure, we control the model’s sparsity by defining a loss function that includes sparsity-inducing penalties on the model parameters (which are basis vectors within a linear combination of kernels). The selected kernels sometimes involve hyperparameters that may need to be learned depending on the nature of the problem. On the one hand, when expert knowledge or working assumptions allow presetting the parameters of the kernel, the learning problem boils down to estimating only the model parameters. To optimize the corresponding loss function, we develop a proximal algorithm. On the other hand, when no prior knowledge is available, some other kernels may exhibit unknown parameters. Consequently, this leads to the joint learning of the kernel parameters in addition to the model parameters. We thus resort to an alternate optimization scheme which involves proximal methods. Subsequently, we propose to build an estimate of the adjacency matrix coding for the underlying causal network by computing a function of the instantaneous Jacobian matrices. In a high-dimensional setting, i.e. insufficient amount of data compared to the number of variables, we design an ensemble methodology that shares features of boosting and random forests. In order to emphasize the performance of the developed models, we apply them on two tracks : simulated data from gene regulatory networks and real climate data.