Modèles bayésiens pour l’identification de représentations antiparcimonieuses et l’analyse en composantes principales bayésienne non paramétrique

Bayesian methods for anti-sparse coding and non parametric principal component analysis

• Auteur / Autrice : Clément Elvira
• Direction : Pierre Chainais, Nicolas Dobigeon
• Type : Thèse de doctorat
• Discipline(s) : Automatique, Génie Informatique, Traitement du Signal et des Images
• Date : Soutenance le 10/11/2017
• Etablissement(s) : Ecole centrale de Lille
• Ecole(s) doctorale(s) : École doctorale Sciences pour l'ingénieur (Lille)
• Partenaire(s) de recherche : Laboratoire : Centre de Recherche en Informatique, Signal et Automatique de Lille - Centre de Recherche en Informatique- Signal et Automatique de Lille / CRIStAL
• Jury : Président / Présidente : Florence Forbes
• Jury : Examinateurs / Examinatrices : Saïd Moussaoui, Gersende Fort
• Jury : Rapporteur / Rapporteuse : Rémy Boyer, Olivier Michel

Mots clés

Mots clés contrôlés

Traitement du signal

Représentation parcimonieuse

Échantillonnage

Stiefel, Variétés de

Statistique bayésienne

Markov, Processus de

Mots clés libres

Antiparcimonie

Loi démocratique

Méthode de Monte-Carlo par chaînes de Markov

Méthodes proximales

Bayésien non paramétrique

Variété de Stiefel

Processus du buffet indien

Estimation de sous-espaces

Anti-sparse representation

Democratic distribution

Monte Carlo Markov chains methods

Proximal methods

Bayesian nonparametrics

Stiefel manifold

Indian buffet process

Subpace estimation

Résumé

Cette thèse étudie deux modèles paramétriques et non paramétriques pour le changement de représentation. L'objectif des deux modèles diffère. Le premier cherche une représentation en plus grande dimension pour gagner en robustesse. L'objectif est de répartir uniformément l’information d’un signal sur toutes les composantes de sa représentation en plus grande dimension. La recherche d'un tel code s'exprime comme un problème inverse impliquant une régularisation de type norme infinie. Nous proposons une formulation bayésienne du problème impliquant une nouvelle loi de probabilité baptisée démocratique, qui pénalise les fortes amplitudes. Deux algorithmes MCMC proximaux sont présentés pour approcher des estimateurs bayésiens. La méthode non supervisée présentée est appelée BAC-1. Des expériences numériques illustrent les performances de l’approche pour la réduction de facteur de crête. Le second modèle identifie un sous-espace pertinent de dimension réduite à des fins de modélisation. Mais les méthodes probabilistes proposées nécessitent généralement de fixer à l'avance la dimension du sous-espace. Ce travail introduit BNP-PCA, une version bayésienne non paramétrique de l'analyse en composantes principales. La méthode couple une loi uniforme sur les bases orthonormales à un a priori non paramétrique de type buffet indien pour favoriser une utilisation parcimonieuse des composantes principales et aucun réglage n'est nécessaire. L'inférence est réalisée à l'aide des méthodes MCMC. L'estimation de la dimension du sous-espace et le comportement numérique de BNP-PCA sont étudiés. Nous montrons la flexibilité de BNP-PCA sur deux applications

This thesis proposes Bayesian parametric and nonparametric models for signal representation. The first model infers a higher dimensional representation of a signal for sake of robustness by enforcing the information to be spread uniformly. These so called anti-sparse representations are obtained by solving a linear inverse problem with an infinite-norm penalty. We propose in this thesis a Bayesian formulation of anti-sparse coding involving a new probability distribution, referred to as the democratic prior. A Gibbs and two proximal samplers are proposed to approximate Bayesian estimators. The algorithm is called BAC-1. Simulations on synthetic data illustrate the performances of the two proposed samplers and the results are compared with state-of-the art methods. The second model identifies a lower dimensional representation of a signal for modelisation and model selection. Principal component analysis is very popular to perform dimension reduction. The selection of the number of significant components is essential but often based on some practical heuristics depending on the application. Few works have proposed a probabilistic approach to infer the number of significant components. We propose a Bayesian nonparametric principal component analysis called BNP-PCA. The proposed model involves an Indian buffet process to promote a parsimonious use of principal components, which is assigned a prior distribution defined on the manifold of orthonormal basis. Inference is done using MCMC methods. The estimators of the latent dimension are theoretically and empirically studied. The relevance of the approach is assessed on two applications