L'inférence bayésienne dans le cadre de l'analyse des formes 2D et 3D

Bayesian Inference within the Framework of 2D and 3D Shape Analysis

• Auteur / Autrice : Anis Fradi
• Direction : Chafik Samir, Leila Ben Abdelghani
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 07/07/2021
• Etablissement(s) : Université Clermont Auvergne (2021-...) en cotutelle avec Université de Monastir (Tunisie)
• Ecole(s) doctorale(s) : École doctorale des sciences pour l'ingénieur (Clermont-Ferrand)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'Informatique, de Modélisation et d'Optimisation des Systèmes
• Jury : Président / Présidente : Engelbert Mephu-Nguifo
• Jury : Examinateurs / Examinatrices : Wen Huang
• Jury : Rapporteurs / Rapporteuses : Julien Jacques, Sana Louhichi

Mots clés

Mots clés contrôlés

Processus gaussiens

Statistique bayésienne non paramétrique

Mots clés libres

Statistiques non paramétriques

Inférence bayésienne

Processus gaussiens

Données en grande dimension

Analyse de forme des courbes

Optimisation numérique

Échantillonnage par MCMC

Échantillonnage par HMC

Régression

Classification

Recalage

Variété riemannienne

Métrique de Fisher-Rao

Sphère de Hilbert

Nonparametric statistics

Bayesian inference

Gaussian processes

High-dimensional data

Shape analysis of curves

Numerical optimization

MCMC sampling

HMC sampling

Regression

Classification

Registration

Riemannian manifold

Fisher-Rao metric

Hilbert sphere

Résumé

La thèse se décompose en deux parties principales: i) Statistiques non paramétriques sur les espaces en grande dimension et fonctionnels, et ii) Statistiques non paramétriques sur les variétés riemanniennes. Dans cette partie, nous allons résumer les contributions majeures de la thèse. Statistiques non paramétriques sur les espaces en grande dimension et fonctionnels Dans le domaine d'apprentissage statistique, nous introduisons une nouvelle notion intitulée: processus gaussien de classification évolutif. Le modèle proposé est plus général que le processus gaussien de classification standard pour représenter et classer des données appartenant à des espaces de grande dimension. Il a l'avantage d'apprendre les hyper-paramètres de la fonction qui transforme les données initiales sur un espace de dimension faible et ceux du processus gaussien de classification à travers sa fonction de covariance à la fois, avec plusieurs méthodes d'optimisation. La fonction de covariance modifiée, définie sur le nouveau espace des données transformées, est plus expressive car la métrique euclidienne devient plus informative. Pour résumer, notre formulation prend en considération la non-linéarité/forte corrélation des données et augmente la séparabilité entre elles grâce au Théorème du représentant. Afin d'estimer les hyper-paramètres du modèle proposé, nous maximisons la vraisemblance marginale. Contrairement à la régression, le calcul de la vraisemblance marginale exacte reste difficile et même impossible dans le cas de classification à cause des vraisemblances discrètes. Ainsi, nous introduisons deux méthodes pour approximer une distribution a posteriori non gaussienne par une gaussienne afin d'améliorer l'efficacité et l'évolutivité du processus gaussien. Pour les données fonctionnelles et même vectorielles en grande dimension, nous introduisons également la notion de processus gaussiens indexé par les fonctions de densité de probabilité. Nous montrerons comment les processus gaussiens peuvent être également définis sur des espaces fonctionnelles, en particulier celle de densités de probabilité muni de la métrique de Fisher-Rao. Plus précisément, nous étendrons les méthodes traditionnelles de statistiques non paramétriques par processus gaussiens de vecteurs finis dans les espaces euclidiens aux espaces des fonctions sous des contraintes munies des métriques riemanniennes. Notre motivation est que plusieurs catégories d'observations peuvent être représentées par des densités de probabilité avec plus d'avantages que des entrées vectorielles ou fonctionnelles brutes. Ce choix est très important pour plusieurs raisons. D'abord, les densités de probabilité permettent de simplifier la formulation du problème en identifiant les données vectorielles ou fonctionnelles initiales, qui sont difficiles à interpréter, par leurs occurrences ou leurs probabilités. Ensuite, les densités de probabilité améliorent la visualisation des distributions locales de données. Enfin, lorsqu'il s'agit des données fortement corrélées (caractéristiques répétitives) nous pouvons plutôt visualiser leurs densités de probabilité pour ajuster l'asymétrie des données initiales.Applications: Classification d'images (cancer du sein/boites métalliques/courbes de croissance/feuilles de maïs/température des animaux) et des vidéos (détection de violence). Statistiques non paramétriques sur les variétés riemanniennes. (...)

The thesis is divided into two main parts: i) Nonparametric statistics on high-dimensional and functional spaces, and ii) Nonparametric statistics on Riemannian manifolds. In this part, we will summarize the major contributions of the thesis. Nonparametric statistics on high-dimensional and functional spacesIn statistical learning, we introduce a new notion entitled: scalable Gaussian process classifier. The proposal is more general than the usual Gaussian process classifier for representing and classifying data lying on high-dimensional spaces. It is more advantageous for learning the hyper-parameters of the mapping (embedding) that maps initial data into a low-dimensional (feature) space and those of the Gaussian process classifier through its covariance function, jointly, with different optimization methods. The modified covariance function, depending on the embedding and operating on the feature space, is more expressive since the Euclidean metric is more informative in low-dimensional spaces. To summarize, our formulation takes care of non-linearity/high-correlation of data and increases the separability between them thanks to the Representer Theorem. In order to estimate the model's hyper-parameters we usually maximize the marginal likelihood. Unlike regression, the computation of the exact marginal likelihood remains difficult and even impossible in the classification case due to the discrete likelihoods. Thus, we introduce two methods to approximate the non-Gaussian posterior distribution by a Gaussian one in order to improve the efficiency and the scalability of the Gaussian process.For functional and even high-dimensional data, we also introduce the notion of Gaussian processes indexed by probability density functions. We will show how Gaussian processes can be defined into functional spaces, in particular that of density functions endowed with the Fisher-Rao metric. More precisely, we will extend the traditional methods of nonparametric statistics based on Gaussian processes from finite vectors in Euclidean spaces to constrained functions with Riemannian metrics. Our motivation is that several categories of observations can be represented by their density functions with more advantages than initial vector or functional inputs. This choice is very crucial for many reasons. First of all, density functions make the problem formulation more understood when identifying the initial vector inputs or functional data, which are hard to interpret, by their occurrences or their corresponding probabilities. Second, density functions improve the visualization of local data distributions. Finally, when dealing with high dimensional datasets (set of repetitive features), we can visualize them using density functions which would be very helpful to explore the skewness of initial data.Applications: Image classification (breast cancer/metallic boxes/growth charts /maize leaves/animal temperature) and video classification (violence detection).Nonparametric statistics on Riemannian manifoldsIn statistical learning on Riemannian manifold of curves, one of major problems is that of registration. For curve registration, we have to find the optimal deformation in terms of the best reparametrization function (or local distribution) between two curves. The space of reparametrization functions is a group of diffeomorphisms for the composition operation, which makes the optimization task quite complicated due to the structure of the group. In fact, there is no intuitive direction nor an underlying metric (or structure) in this group. (...)