Méthodes aléatoires pour l’apprentissage de données en grande dimension : application à l'apprentissage partagé

Random methods for machine learning of high dimensional data : application to transfer learning

• Auteur / Autrice : Nassara Elhadji Ille Gado
• Direction : Edith Grall Maës, Malika Kharouf
• Type : Thèse de doctorat
• Discipline(s) : Optimisation et Sûreté des Systèmes
• Date : Soutenance le 05/12/2017
• Etablissement(s) : Troyes
• Ecole(s) doctorale(s) : Ecole doctorale Sciences pour l'Ingénieur (Troyes, Aube)
• Partenaire(s) de recherche : Collectivité territoriale : Grand Est
• Partenaire(s) de recherche : Laboratoire : Institut Charles Delaunay / ICD
• Jury : Président / Présidente : Pierre Beauseroy
• Jury : Examinateurs / Examinatrices : Edith Grall Maës, Malika Kharouf, Pierre Beauseroy, Stéphane Canu, Moamar Sayed-Mouchaweh, Paul Honeine
• Jury : Rapporteurs / Rapporteuses : Stéphane Canu, Moamar Sayed-Mouchaweh

Mots clés

Mots clés contrôlés

Analyse discriminante

Analyse en composantes principales

Méthode de projection aléatoire

Mots clés libres

Méthode de projection aléatoire

Analyse en composantes principales

Analyse discriminante

Transfert d’apprentissage

Algorithmes d'approximation

Random projection methods

PCA

Dimension reduction

SVD

LDA

Transfer learning

Pproximation algorithms

Résumé

Cette thèse porte sur l’étude de méthodes aléatoires pour l’apprentissage de données en grande dimension. Nous proposons d'abord une approche non supervisée consistant en l'estimation des composantes principales, lorsque la taille de l'échantillon et la dimension de l'observation tendent vers l'infini. Cette approche est basée sur les matrices aléatoires et utilise des estimateurs consistants de valeurs propres et vecteurs propres de la matrice de covariance. Ensuite, dans le cadre de l’apprentissage supervisé, nous proposons une approche qui consiste à, d'abord réduire la dimension grâce à une approximation de la matrice de données originale, et ensuite réaliser une LDA dans l’espace réduit. La réduction de dimension est basée sur l’approximation de matrices de rang faible par l’utilisation de matrices aléatoires. Un algorithme d'approximation rapide de la SVD, puis une version modifiée permettant l’approximation rapide par saut spectral sont développés. Les approches sont appliquées à des données réelles images et textes. Elles permettent, par rapport à d’autres méthodes, d’obtenir un taux d’erreur assez souvent optimal, avec un temps de calcul réduit. Enfin, dans le cadre de l’apprentissage par transfert, notre contribution consiste en l’utilisation de l'alignement des sous-espaces caractéristiques et l’approximation de matrices de rang faible par projections aléatoires. La méthode proposée est appliquée à des données de référence ; elle présente l’avantage d’être performante et adaptée à des données de grande dimension

This thesis deals with the study of random methods for learning large-scale data. Firstly, we propose an unsupervised approach consisting in the estimation of the principal components, when the sample size and the observation dimension tend towards infinity. This approach is based on random matrices and uses consistent estimators of eigenvalues and eigenvectors of the covariance matrix. Then, in the case of supervised learning, we propose an approach which consists in reducing the dimension by an approximation of the original data matrix and then realizing LDA in the reduced space. Dimension reduction is based on low–rank approximation matrices by the use of random matrices. A fast approximation algorithm of the SVD and a modified version as fast approximation by spectral gap are developed. Experiments are done with real images and text data. Compared to other methods, the proposed approaches provide an error rate that is often optimal, with a small computation time. Finally, our contribution in transfer learning consists in the use of the subspace alignment and the low-rank approximation of matrices by random projections. The proposed method is applied to data derived from benchmark database; it has the advantage of being efficient and adapted to large-scale data