Contributions à la théorie des U-statistiques et processus empiriques

Contributions to the theory of U-statistics and empirical processes

• Auteur / Autrice : Amel Nezzal
• Direction : Salim Bouzebda
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques Appliquées : Laboratoire de Mathématiques Appliquées de Compiègne (Unité de recherche EA-2222)
• Date : Soutenance le 28/10/2022
• Etablissement(s) : Compiègne
• Ecole(s) doctorale(s) : École doctorale 71, Sciences pour l'ingénieur (Compiègne)
• Partenaire(s) de recherche : Laboratoire : Laboratoire de Mathématiques Appliquées de Compiègne / LMAC

Mots clés

Mots clés contrôlés

Lissage (statistique)

Noyaux (analyse fonctionnelle)

Variables aléatoires

Probabilités

Analyse des données

Estimation de paramètres

Estimation, Théorie de l'

Analyse de régression

Statistique non paramétrique

Statistique mathématique

Statistique

Processus empiriques (mathématiques)

Mots clés libres

Estimateurs des k plus proches voisins

Classe de fonctions de type VC

Analyse des données fonctionnelles

Paramètre de lissage

Estimation par les séquences delta

Consistance uniforme

Processus empiriques

Convergence Uniforme presque complète

Entropie métrique

Données fonctionnelles

Espace fonctionnel

Estimateurs à noyaux

Probabilité de petites boules

U-statistiques

U-statistiques conditionnelles

U-processus

Functional data analysis

VC-Class of functions

Uniform consistency

Almost complete Uniform Convergence

Functional data

Metric entropy

Functional space

Kernel estimators

K nearest neighbor estimators

Data-driven estimator

Delta sequences

Smoothing parameter

Small-ball probability

Empirical processes

U-statistics

Conditional U-statistics

U-processes

Kernel functions

Résumé

Dans cette thèse, nous nous intéressons principalement à l’estimation des modèles de régression non paramétrique. Plus précisément, nous nous intéressons à une classe d’estimateurs des U-statistiques conditionnelles. Les U-statistiques conditionnelles peuvent être considérées comme une généralisation de l’estimateur de Nadaray-Watson. Ce dernier utilise les méthodes à noyau pour “moyenner” les valeurs des variables réponses. Stute généralise l’estimateur de Nadaraya-Watson en remplaçant les moyennes pondérées simples au numérateur et au dénominateur par des U-statistiques. Ensuite, en utilisant une collection de variables aléatoires prédictives, il prédit l’espérance conditionnelle de la fonction noyau des U-statistiques. Cette généralisation est prospère et influente dans la statistique mathématique en raison de son utilité scientifique exceptionnelle et de sa fascinante complexité théorique. Cependant, comme toute autre technique d’estimation par noyau, la question du choix de la fenêtre de lissage appropriée pour équilibrer le compromis variance-biais, est un sujet qui reste mal abordé dans la littérature sur les U-statistiques conditionnelles lorsque les variables explicatives sont fonctionnelles. Dans la première partie de la thèse, nous introduisons l’estimateur k des plus proches voisins des U-statistiques conditionnelles dépendant d’une covariable de dimension infinie. La convergence uniforme en termes de nombre de voisinages (UINN) pour l’estimateur proposé est présentée. Un tel résultat permet de varier le nombre de voisinages dans une plage complète pour laquelle l’estimateur reste consistant. Par conséquent, ce résultat représente une ligne directrice intéressante dans la pratique pour sélectionner le nombre de voisinages optimal dans l’analyse des données fonctionnelles non paramétriques. De plus, nos résultats sont uniformes sur une classe de fonctions convenablement choisie F, dans les deux cas bornée et non bornée, satisfaisant des conditions de moment et certaines conditions générales sur l’entropie. En tant que sous-produit de nos preuves, nous énonçons des résultats de convergence pour le k-NN des U-statistiques conditionnelles, dans le cadre de la censure aléatoire, uniformes en nombre de voisins. La deuxième partie de la thèse traite un cadre général d’estimation non paramétrique incluant l’estimateur de Stute comme cas particulier. La classe des « estimateurs de delta séquence » est introduite et traitée dans ce travail. Cette classe comprend également les séries orthogonales et les méthodes d’histogramme. Nous étendons partiellement ces résultats au cadre des données fonctionnelles. La majeure partie de la thèse est motivée par les problèmes d’apprentissage, y compris parmi beaucoup d’autres, les problèmes de discrimination, l’apprentissage métrique et le "classement multipartite".

In this dissertation, we are interested in nonparametric regression estimation models. More precisely, we are concerned with a class of conditional U-statistics estimators. Conditional U-statistics can be viewed as a generalization of the Nadaray-Watson estimator. The latter uses a smoothing kernel function to “average” response variable values within a predictor range. Stute generalizes the Nadaraya-Watson estimator first by replacing simple weighted averages in the numerator and denominator with U-statistics. Then, using a collection of predictor random variables, he predicts the conditional expectation of the U-statistic kernel function. This generalization is prosperous and influential in mathematical statistics due to its outstanding scientific utility and fascinating theoretical complexity. However, like any other kernel estimation technique, the question of choosing a suitable bandwidth to balance the variance-bias trade off is a subject that remains insufficiently addressed in the literature on conditional U-statistics when explanatory variables are functional. In the first part, we introduce the k nearest neighborhoods estimator of the conditional U-statistics depending on an infinite-dimensional covariate. A sharp uniform in the number of neighborhoods (UINN) limit law for the proposed estimator is presented. Such a result allows the NN to vary within a complete range for which the estimator is consistent. Consequently, it represents an interesting guideline in practice to select the optimal NN in nonparametric functional data analysis. In addition, uniform consistency is also established over ϕ ∈F for a suitably restricted class F, in both cases bounded and unbounded, satisfying some moment conditions and some mild conditions on the model. As a by-product of our proofs, we state consistency results for the k-NN conditional U-statistics, under the random censoring, are uniform in the number of neighbors. The second part of the thesis deals with a general nonparametric statistical curve estimation setting, including the Stute estimator as a particular case. The class of “delta sequence estimators” is defined and treated here. This class also includes the orthogonal series and histogram methods. We partially extend these results to the setting of the functional data. The major part of the thesis is motivated by machine learning problems, including, among many others, the discrimination problems, the metric learning, and the multipartite ranking.