Thèse soutenue

Sélection et approximation de modèle dans les modèles de mélange d'experts de grande dimension : de la théorie à la pratique
FR  |  
EN
Accès à la thèse
Auteur / Autrice : Trung Tin Nguyen
Direction : Faicel Chamroukhi
Type : Thèse de doctorat
Discipline(s) : Mathématiques
Date : Soutenance le 14/12/2021
Etablissement(s) : Normandie
Ecole(s) doctorale(s) : École doctorale mathématiques, information et ingénierie des systèmes (Caen)
Partenaire(s) de recherche : Laboratoire : Laboratoire de Mathématiques Nicolas Oresme (Caen ; 2002-....)
établissement de préparation : Université de Caen Normandie (1971-....)
Jury : Président / Présidente : Christophe Biernacki
Examinateurs / Examinatrices : Faicel Chamroukhi, Judith Rousseau, Sylvain Arlot, Hien Duy Nguyen, Gaëlle Chagny
Rapporteurs / Rapporteuses : Judith Rousseau, Sylvain Arlot

Résumé

FR  |  
EN

Dans cette thèse, nous étudions les capacités d'approximation et les propriétés d'estimation et de sélection de modèles, d'une riche famille de mélanges d'experts (MoE) dans un cadre de grande dimension. Cela inclut des MoE avec experts gaussiens et fonctions soft-max (SGaME) ou gaussiennes normalisées (GLoME) pour modéliser la distribution de la variable latente conditionnellement aux experts. Tout d'abord, nous améliorons les résultats d'approximation universelle dans les mélanges inconditionnels, et étudions ces capacités d'approximation pour les MoE dans une variété de contextes, y compris en approximation de fonctions de densités de probabilité (FDP) conditionnelles et en calcul bayésien approximatif. Plus précisément, nous prouvons qu'à un degré de précision arbitraire, les mélanges de translatées dilatées d'une FDP continue peuvent approximer toute FDP continue, uniformément, sur un ensemble compact; les mélanges de translatées dilatées d'une FDP essentiellement bornée, resp. d'une FDP conditionnelle, peuvent approcher toute FDP, resp. toute FDP conditionnelle continue lorsque les variables d'entrée et de sortie sont toutes deux à support compact, dans les espaces de Lebesgue. Par la suite, nous établissons des résultats non asymptotiques de sélection de modèle dans des scénarios de régression à grande dimension, pour une variété de modèles de régression MoE, y compris GLoME et SGaME, en s'appyuant sur une stratégie de régression inverse ou une pénalisation Lasso, respectivement. Ceux-ci incluent des résultats pour la sélection du nombre de composantes du mélange d'experts, ainsi que pour la sélection jointe de variable et des rangs des matrices de covariances. En particulier, ces résultats fournissent une garantie théorique solide: une inégalité d'oracle en échantillon fini satisfaite par l'estimateur du maximum de vraisemblance pénalisé avec une perte de type Jensen-Kullback-Leibler, pour soutenir l'heuristique de pente dans un cadre d'échantillon fini, par rapport aux critères asymptotiques classiques. Enfin, pour appuyer nos résultats théoriques et l'étude statistique de la sélection non-asymptotique de modèles, nous réalisons des études numériques en considérant des données simulées et réelles, qui mettent en évidence la performance de nos résultats notamment ceux d'inégalités d'oracle en échantillon fini.