Noyaux reproduisants et critères de contraste pour l'élaboration de détecteurs à structure imposée

Reproducing kernels and contrast criteria for constrained structure detection

• Auteur / Autrice : Fahed Abdallah
• Direction : Régis Lengellé, Cédric Richard
• Type : Thèse de doctorat
• Discipline(s) : Optimisation et sûreté des systèmes
• Date : Soutenance en 2004
• Etablissement(s) : Troyes
• Ecole(s) doctorale(s) : École doctorale Sciences pour l'Ingénieur (Troyes, Aube)

Mots clés

Mots clés contrôlés

Détecteurs

Complexité de calcul (informatique)

Vraisemblance

Théorie de l'estimation

Mots clés libres

Théorie de l'apprentissage

Rapprot de vraisemblance

Détection à structure imposée

Thèorie de Vapnik et Chervonenkis

Critères du second ordre

Méthodes à nyaux (Support vecto machine (SVM))

Kernel Fisher dicriminant (KFD)

Relevance vector machine (RVM)

Méthode de contrôle de la complexité

Résumé

Les travaux réalisés pendant cette thèse sont relatifs à la synthèse de détecteurs à partir d'une base d'exemples étiquetés. La théorie développée fait appel aux espaces de Hilbert à noyaux reproduisants pour l'élaboration de détecteurs linéaires généralisés dans des espaces transformés de dimension importante, voire infinie, sans qu'aucun calcul n'y soit effectué explicitement. Elle repose sur l'optimisation du meilleur critère de contraste pour le problème traité, après s'être assuré que de telles mesures de performance permettant l'obtention sous des conditions restrictives assez faibles, à une statistique équivalente au rapport de vraisemblance. Pour une meilleure prise en compte de phénomènes tels que la malédiction de la dimensionnalité, l'approche proposée s'appuie sur la théorie de l'apprentissage. Celle-ci lui permet d'offrir des garanties de performances en généralisation. On propose ainsi des méthodes qui permettent le contrôle de complexité des détecteurs obtenus. Les résultats obtenus sur des données synthétiques et réelles montrent que notre approche est en mesure de rivaliser avec les structures de décision les plus étudiées actuellement que sont les Support Vector Machines

In this thesis, we consider statistical learning machines with try to infer rules from a given set or observations in order to make correct predictions on unseen examples. Building upon the theory of reproducing kernels, we develop a generalized linear detector in transformed spaces of high dimension, without explicitly doing any calculus in these spaces. The method is based on the optimization of the best second-order criterion with respect to the problem to solve. In fact, theoretical results show that second-order criteria are able, under some mild conditions, to guarantee the best solution in the sense of classical detection theories. Achieving a good generalisation performance with a receiver requires matching its complexity to the amount of available training data. This problem, known as the curse of dimensionality, has been studied theoretically by Vapnik and Chervonenkis. In this dissertation, we propose complexity control procedures in order to improve the performance of these receivers when few training data are available. Simulation results on real and synthetic data show clearly the competitiveness of our approach compared with other state of the art existing kernel methods like Support Vector Machines