Etude de la complexité et contrôle de la capacité des systèmes d'apprentissage : SVM multi-classe, réseaux de régularisation et réseaux de neurones multicouches

• Auteur / Autrice : André Elisseeff
• Direction : Hélène Paugam-Moisy
• Type : Thèse de doctorat
• Discipline(s) : Sciences et techniques
• Date : Soutenance en 2000
• Etablissement(s) : Lyon, École normale supérieure (sciences)

Résumé

Cette these porte sur la theorie de l'apprentissage et expose differents modeles connexionnistes ainsi que leur justification theorique et les moyens de les mettre en uvre. Le premier modele est une extension des machines a vecteurs de support, qui ont ete introduites au debut des annees 90 et qui sont aujourd'hui reconnues comme etant tres performantes. Leur definition repose sur une notion de marge qui avait ete etudiee et definie uniquement dans le cas bi-classe. Apres avoir demontre un resultat general sur la discrimination et la marge multi-classes, de nouvelles machines a vecteurs de support multi-classes sont presentees. Une etude de programmation mathematique permet de definir un algorithme efficace pour leur mise en uvre. Le deuxieme modele est expose dans le cadre de la theorie de la regularisation. Apres une introduction aux bases de cette theorie et a son lien avec une notion de stabilite algorithmique, un nouvel operateur regularisant est defini. De cet operateur, est deduit un reseau de neurones multi-couche qui apparait ainsi comme une partie d'un reseau de regularisation. Ces derniers ont l'avantage d'etre justifies theoriquement et de pouvoir etre associes a des a priori. Ainsi, il devient possible d'etudier quelles sont les connaissances a priori sous-jacentes a l'utilisation des reseaux de neurones avec des fonctions d'activation sigmoides. Enfin, une analyse de la complexite et de la capacite des perceptrons multi-couches conclut la these, en demontrant des resultats generaux sur les caracteristiques fonctionnelles de ces modeles.