Estimation optimale adaptative dans des modèles hétéroscédastiques

Optimal adaptive estimation in heteroscedastic models

• Auteur / Autrice : Sirine Louati
• Direction : Alexandre B. Tsybakov
• Type : Projet de thèse
• Discipline(s) : Mathématiques appliquées
• Date : Inscription en doctorat le 01/10/2023
• Etablissement(s) : Institut polytechnique de Paris
• Ecole(s) doctorale(s) : École doctorale de mathématiques Hadamard (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : CREST - Centre de recherche en économie et statistique
• Partenaire(s) de recherche : Equipe de recherche : Pôle de Statistique

Mots clés

Mots clés libres

Estimation adaptative

Hétéroscédastisité

Estimation robuste

Heteroscedasticity

Adaptive estimation

Robust estimation

Résumé

Dans l'estimation statistique, on vise à extraire des informations sur une population à partir d'une collection des données. Une grande partie de la théorie de l'estimation traite de la situation où, grosso modo, toutes les observations proviennent d'une source unique et portent donc essentiellement la même quantité d'informations. Bien que convenable pour la théorie, cette hypothèse ne décrit pas avec précision certaines situations pratiques, où l'on souhaiterait incorporer différentes sources de données. Par exemple, on peut avoir à sa disposition un grand nombre d'observations très bruitées ou de « basse qualité » (par exemple, des données médicales), ainsi qu'un plus petit nombre d'observations « de haute qualité », que l'on voudrait agréger d'une manière raisonnée. La formalisation naturelle de cette configuration correspond à l'estimation « hétéroscédastique », où certaines observations peuvent être plus informatives (ou moins bruitées) que d'autres. Si la quantité de bruit dans chaque observation est connue a priori, il est toujours utile d'avoir plus d'observations, et il existe un moyen optimal de les exploiter pour produire une estimation de haute qualité. La situation est beaucoup moins claire dans le cas plus réaliste où la quantité de bruit dans chaque observation est inconnue du statisticien. Idéalement, on aimerait exploiter des observations hautement informatives. Bien que l'estimation hétéroscédastique soit un sujet classique en statistique, les limites fondamentales de ce qui est réalisable dans ce contexte sont loin d'être comprises. Ce sujet a également un lien avec l'estimation robuste, qui a connu un regain d'intérêt remarquable au cours de la dernière décennie. En effet, dans l'estimation robuste, on tente de limiter l'effet dommageable d'une petite fraction d'observations « aberrantes ». Au contraire, dans l'estimation hétéroscédastique, on aimerait exploiter la présence (possible) d'une petite fraction de données hautement informatives. Comprendre ce qui est possible en théorie pourrait également conduire à des méthodes sensées qui pourraient être déployées dans la pratique, car la plupart des heuristiques naïves (qui ne sont pas soutenues par une analyse théorique) semblent échouer ou produire des résultats sous-optimaux pour ce problème.

In statistical estimation, one aims to extract information about a population from a collection of data. A large part of estimation theory deals with the situation where, roughly speaking, all observations come from a single source, and thus carry essentially the same amount of information. While theoretically convenient, this assumption does not describe accurately certain practical situations, where one would like to incorporate different sources of data about some phenomenon. For instance, one may have at one's disposal a large number of “noisy” or “low-quality” observations (e.g., medical data), as well as a smaller number of “high-quality” observations, which one would like to aggregate in a principled way. The natural formalization for this configuration corresponds to “heteroskedastic” estimation, where some observations may be more informative (or less noisy) than other. If the amount of noise in each observation is known a priori, then having more observations always helps, and there is an optimal way to exploit them to produce a high-quality estimate. The situation is far less clear in the more realistic case where the amount of noise in each observation is unknown to the statistician. Ideally, one would like to exploit highly informative observations. While heteroscedastic estimation is a classical topic in statistics, the fundamental limits of what is achievable in this setting are far from being understood. This topic also has some connection with robust estimation, which has seen a remarkable surge of interest in the last decade. Indeed, in robust estimation one attempts to limit the damaging effect of a small number of “outlier” observations. On the contrary, in heteroscedastic estimation one would like to exploit the (possible) presence of a small fraction of highly-informative data. Understanding what is possible in theory could also lead to sensible methods that could be deployed in practice, since most naive heuristic (that are not backed by theoretical analysis) seem to fail or produce suboptimal results for this problem.