Contributions aux algorithmes stochastiques pour le Big Data et à la théorie des valeurs extrèmes multivariés.

Contributions to stochastic algorithm for Big Data and multivariate extreme value theory.

• Auteur / Autrice : Zhen Wai Olivier Ho
• Direction : Clément Dombry, Stéphane Chrétien
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques
• Date : Soutenance le 04/10/2018
• Etablissement(s) : Bourgogne Franche-Comté
• Ecole(s) doctorale(s) : École doctorale Carnot-Pasteur (Besançon ; Dijon ; 2012-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire de Mathématiques de Besançon (Besançon) - Laboratoire de Mathématiques de Besançon
• Jury : Président / Présidente : Laurent Gardes
• Jury : Examinateurs / Examinatrices : Clément Dombry, Stéphane Chrétien, Laurent Gardes, Joseph Salmon, Anne Sabourin, Yacouba Boubacar Mainassara
• Jury : Rapporteurs / Rapporteuses : Laurent Gardes, Joseph Salmon

Mots clés

Mots clés contrôlés

Données massives

Mots clés libres

Big Data

Algorithmes Stochastiques

Acquisition comprimée

Théorie des valeurs extrèmes

Variations régulières

Loi Hüsler-Reiss Pareto

Big data

Stochastic Algorithm

Compressed sensing

Extreme value theory

Regular Variation

Hüsler-Reiss Pareto distribution

Résumé

La thèse comporte deux parties distinctes. La première partie concerne des modèles pour les extrêmes multivariés.On donne une construction de vecteurs aléatoires multivariés à variations régulières. La construction se base sur une extension multivariée d'un lemme de Breiman établissant la propriété de variation régulière d'un produit RZ de variable aléatoire avec R positive à variation régulière et Z positive suffisamment intégrable. En prenant mathbf{Z} multivarié et suffisamment intégrable, on montre que Rmathbf{Z} est un vecteur aléatoire à variations régulières et on caractérise sa mesure limite. On montre ensuite que pour mathbf{Z} de loi bien choisie, on retrouve des modèles stables classiques comme le modèle t-extremal, Hüsler-Reiss, etc. Puis, on étend notre construction pour considérer la notion de variation régulière multivariée non standard. On montre ensuite que le modèle de Pareto (qu'on appelle Hüsler-Reiss Pareto) associé au modèle max-stable Hüsler-Reiss forme une famille exponentielle complète. On donne quelques propriétés du modèle Hüsler-Reiss Pareto puis on propose un algorithme de simulation exacte. On étudie l'inférence par le maximum de vraisemblance. Finalement, on considère une extension du modèle Hüsler-Reiss Pareto utilisant la notion de variation régulière non standard. On étudie l'inférence par le maximum de vraisemblance du modèle généralisé et on propose une méthode d'estimation des paramètres. On donne une étude numérique sur l'estimateur du maximum de vraisemblance pour le modèle Hüsler-Reiss Pareto. Dans la second partie qui concerne l'apprentissage statistique, on commence par donner une borne sur la valeur singulière minimale d'une matrice perturbée par l'ajout d'une colonne. On propose alors un algorithme de sélection de colonne afin d'extraire les caractéristiques de la matrice. On illustre notre algorithme sur des données réelles de séries temporelles où chaque série est pris comme étant une colonne de la matrice. Deuxièmement, on montre que si une matrice X à une propriété d'incohérence alors X possède aussi une version affaiblie de la propriété NSP (null space property). Puis, on s'intéresse au problème de sélection de matrice incohérente. A partir d'une matrice Xin mathbb{R}^{n imes p} et mu>0, on cherche la plus grande sous-matrice de X avec une cohérence inférieure à mu. Ce problème est formulé comme un programme linéaire avec contrainte quadratique sur {0,1}^p. Comme ce problème est NP-dur, on considère une relaxation sur la sphère et on obtient une borne sur l'erreur lorsqu'on considère le problème relaxé. Enfin, on analyse l'algorithme de gradient stochastique projeté pour l'analyse en composante principale online. On montre qu'en espérance, l'algorithme converge vers un vecteur propre maximum et on propose un algorithme pour sélectionner le pas de l'algorithme. On illustre ensuite cet algorithme par une expérience de simulation.

This thesis in divided in two parts. The first part studies models for multivariate extremes. We give a method to construct multivariate regularly varying random vectors. The method is based on a multivariate extension of a Breiman Lemma that states that a product RZ of a random non negative regularly varying variable R and a non negative Z sufficiently integrable is also regularly varying. Replacing Z with a random vector mathbf{Z}, we show that the product Rmathbf{Z} is regularly varying and we give a characterisation of its limit measure. Then, we show that taking specific distributions for mathbf{Z}, we obtain classical max-stable models. We extend our result to non-standard regular variations. Next, we show that the Pareto model associated with the Hüsler-Reiss max-stable model forms a full exponential family. We show some properties of this model and we give an algorithm for exact simulation. We study the properties of the maximum likelihood estimator. Then, we extend our model to non-standard regular variations. To finish the first part, we propose a numerical study of the Hüsler-Reiss Pareto model.In the second part, we start by giving a lower bound of the smallest singular value of a matrix perturbed by appending a column. Then, we give a greedy algorithm for feature selection and we illustrate this algorithm on a time series dataset. Secondly, we show that an incoherent matrix satisfies a weakened version of the NSP property. Thirdly, we study the problem of column selection of Xinmathbb{R}^{n imes p} given a coherence threshold mu. This means we want the largest submatrix satisfying some coherence property. We formulate the problem as a linear program with quadratic constraint on {0,1}^p. Then, we consider a relaxation on the sphere and we bound the relaxation error. Finally, we study the projected stochastic gradient descent for online PCA. We show that in expectation, the algorithm converges to a leading eigenvector and we suggest an algorithm for step-size selection. We illustrate this algorithm with a numerical experiment.