Méthodes des processus empiriques pour la régression distributionnelle

Empirical process methods in distributional regression

• Auteur / Autrice : Ralph Fenelon
• Direction : Davit Varron, Clément Dombry
• Type : Projet de thèse
• Discipline(s) : Mathématiques
• Date : Inscription en doctorat le 01/10/2024
• Etablissement(s) : Besançon, Université Marie et Louis Pasteur
• Ecole(s) doctorale(s) : École doctorale Carnot-Pasteur
• Partenaire(s) de recherche : Laboratoire : Laboratoire de Mathématiques de Besançon

Mots clés

Mots clés libres

Processus empiriques

Régression distributionnelle

Apprentissage statistiques

Empirical process theory

Distributional regression

Machine learning

Résumé

Le cadre statistique de cette thèse est le problème de régression distributionnelle, c'est-à-dire comment modéliser et estimer correctement les fonctions de distribution cumulative conditionnelle. Ce sujet est plus complexe que ce que l'on rencontre généralement dans la régression classique : au lieu de construire des prédictions ponctuelles, nous prédisons plutôt la distribution conditionnelle entière. La régression distributionnelle est pertinente dans divers domaines, tels que la météorologie, la forêt aléatoire distributionnelle, la prévision probabiliste, la régression quantile ou la régression distributionnelle additive structurée. La méthode du réseau de régression distributionnelle (DRN) a été développée comme une évolution du cadre classique ‘Ensemble Model Output Statistics' (EMOS), ajoutant beaucoup plus de flexibilité à l'aide des réseaux de neurones. DRN vise à améliorer la capacité du modèle à représenter des phénomènes complexes en employant des approches mieux adaptées aux structures non linéaires des données météorologiques, par opposition aux méthodes traditionnelles reposant sur des liens linéaires et fixes. Cette approche offre une plus grande flexibilité et adaptabilité pour modéliser les relations entre les variables prédictives et les paramètres de manière plus réaliste. Dans cette thèse, nous étudierons la procédure d'estimation basée sur le principe empirique de minimisation des risques, en utilisant une fonction de risque basée sur le 'Continuous Ranked Probability Score' (CRPS). En utilisant des techniques issues de la théorie des processus empiriques, cette thèse se concentrera sur les objectifs suivants : 1-Calibration du modèle : fournir des estimations non asymptotiques pour l'erreur d'estimation. 2-Sélection du modèle : fournir des estimations non asymptotiques du regret, via une minimisation des erreurs de validation. 3-Agrégation de modèles : fournit des estimations non asymptotiques du regret pour l'agrégation convexe des modèles.

The statistical framework of this thesis is the distributional regression problem, i.e. how to properly model and estimate the conditional cumulative distribution functions. This topic is more intricate and challenging than what is typically encountered in classical regression: instead of building point-to-point predictions we rather predict the entire conditional distribution. Distributional regression is of relevance in various fields, such as meteorology, distributional random forest, probabilistic forecasting, quantile regression, or structured additive distributional regression. The distributional regression network (DRN) method has been developed as an evolution of the classical Ensemble Model Output Statistics (EMOS) framework, adding significantly more flexibility using neural networks. DRN aims to enhance the model's capability to represent complex phenomena by employing approaches better suited to the nonlinear structures of meteorological data, as opposed to traditional methods relying on linear and fixed links. This approach provides greater flexibility and adaptability to model relationships between predictive variables and parameters in a more realistic manner. In this thesis we will investigate the estimation procedure based on the empirical risk minimisation principle, using a risk function based on Continuous Ranked Probability Score (CRPS). Using techniques from empirical processes theory, this thesis will focus on achieving the following goals: 1-Model fitting: Provide non asymptotic estimates for the estimation error. 2-Model selection: Provide non asymptotic estimates for the regret, via validation error minimization. 3-Model Aggregation: Provide non asymptotic estimates for the regret for convex aggregation of the models.