Algorithmes à complexité réduite pour statistiques à haute dimension

Reduced complexity algorithms for high-dimensional statistics.

• Auteur / Autrice : Sasila Ilandarideva
• Direction : Anatoli Juditsky, Vianney Perchet
• Type : Projet de thèse
• Discipline(s) : Mathématiques Appliquées
• Date : Inscription en doctorat le ; Soutenance le 14/06/2024
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale Mathématiques, sciences et technologies de l'information, informatique (Grenoble ; 1995-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Jean Kuntzmann
• Jury : Président / Présidente : Jerôme Lelong
• Jury : Examinateurs / Examinatrices : Anatoli Iouditski, Antonin Chambolle, Niao He, Vianney Perchet, Alexandre D'aspremont, Jerôme Malick, Guanghui Lan
• Jury : Rapporteurs / Rapporteuses : Antonin Chambolle, Niao He

Mots clés

Mots clés libres

Sparse recovery

Approximation stochastique

Estimation robuste

Sparse recovery

Stochastic approximation

Estimation robuste

Résumé

L'objectif de cette thèse est d'étudier des algorithmes d'optimisation stochastique de premier ordre appliquées à la résolution de problème de récupération statistique en haute dimension. Plus précisément, nous examinerons la mise en œuvre d'algorithmes d'approximation stochastique multi-étape basés sur une stratégie de redémarrage. Lorsqu'ils sont appliqués au problème de récupération parcimonieuse, les estimateurs fournis par nos méthodes stochastiques doivent vérifier des bornes statistiques optimales sur la performance de l'estimation, généralement mesurée par le risque d'estimation ou le risque de prédiction, avec pour objectif final de supprimer les limitations existantes des algorithmes connus. Les algorithmes doivent être robustes aux distributions à queue lourde des observations bruitées et aux observations erronées des régresseurs. Les algorithmes étudiés devront s'adapter à une implémentation parallélisée, leurs performances numériques devant évoluer en fonction de la mémoire disponible ou des ressources de traitement et de l'architecture. Dans la première partie de ce manuscrit, nous développerons et analyseront une méthode multi-étapes basée sur l'algorithme Stochastique de Descente Miroir basé sur une divergence de Bregman utilisant une fonction potentiel posédant une structure géométrique non Euclidienne. Nous fournirons des bornes pour les larges déviations sous l'hypothèse que le bruit stochastique suit une distribution sous-Gaussienne. Cette méthode est étendue avec des garanties théoriques sous une hypothèse de convexité uniforme autour de l'optimum, incluant également une analyse de robustesse de l'algorithme vis à vis de ses paramètres inconnus basée sur la procédure d'adaptation de Lepski. Dans la seconde partie, nous explorons une variante de la méthode du gradient accéléré de Nesterov, qui utilise une estimation du vrai gradient par moyennation des gradients stochastiques. Nous montrerons que cette méthode accelerée atteint à la fois la complexité optimale en terme d'itération mais également la complexité optimale en terme d'échantillon, tout celà, sous l'hypothèse d'un bruit stochastique dependant du point de recherche en cours. Notre analyse comprend des vitesses de convergences valide en espérance, ainsi que des bornes pour de larges déviations en présence de bruit stochastic suivant des distributions sous-exponentielle. Cette méthode est ensuite adaptée en une procédure multi-étapes, ciblant spécifiquement les problèmes de récupération de vecteurs parcimonieux en grande dimension. Tout au long de ce manuscrit, l'efficacité des méthodes proposées est constamment évaluée dans le contexte des modèles de régression linéaire généralisée parcimonieuse, un problème important dans la récupération statistique.

The aim of this thesis is to investigate the properties of stochastic optimization procedures applied to high-dimensional statistical recovery problems. Specifically, we concentrate on the implementation of multistage algorithms of stochastic approximation methods. These algorithms are expected to meet optimal statistical bounds regarding estimation or prediction risks thus addressing limitations of existing algorithms. They are to be robust with respect to heavy-tailed distributions of observation disturbances and erroneous regressor observations. Additionally, such algorithms admit heavily parallelized implementation, allowing numerical performance to scale with the available memory, processing resources, and architecture. In the first part of this work we analyze a multistage method based on a non-Euclidean Stochastic Mirror Descent algorithm. We provide theoretical bounds for large deviations under sub-Gaussian stochastic noise assumption along with numerical validation of the method. This algorithm is extended with theoretical guarantees under uniform convexity assumption around the optimum, including robustness analysis with respect to unknown parameters based on the celebrated Lepski's adaptation procedure. In the second part, we explore a special version of the accelerated stochastic gradient algorithm that employs mini-batch gradient estimation. We demonstrate that this method achieves both the optimal iteration and optimal sample complexity under the state-dependent noise assumption. Our analysis encompasses bounds for estimation and prediction errors that are valid in expectation as well as for large deviations in the presence of sub-exponential gradient noise. This method is further utilized in multistage procedures designed to solve sparse recovery problems. Throughout this manuscript, the effectiveness of the proposed methods is consistently evaluated in the context of the sparse Generalized Linear Regression model, an important problem in statistical recovery.