Recherche Avancée

Thèse soutenue

Injection de bruit dans les perceptrons multicouches

FR  |  
EN
Auteur / Autrice : Yves Grandvalet
Direction : Stéphane Canu
Type : Thèse de doctorat
Discipline(s) : Contrôle des systèmes
Date : Soutenance en 1995
Etablissement(s) : Compiègne
Ecole(s) doctorale(s) : École doctorale Sciences pour l'ingénieur (Compiègne)

Résumé

FR

Lors de l'estimation d'une fonction de régression, la sélection d'un modèle est une étape clef. Elle détermine la complexité du modèle généralisant au mieux les données, i. E. Minimisant l'erreur en prédiction. Dans les perceptons multicouches, la complexité peut être réglée en modifiant l'architecture du réseau. Mais il est également possible de la contrôler à architecture fixée. Les méthodes employées consistent à ajouter au critère d'erreur, explicitement ou non, un terme pénalisant la complexité de la solution. La notion de paramètres effectifs supplante alors celle de paramètres. Parmi ces méthodes, nous avons choisi d'étudier l'injection de bruit, qui est une heuristique particulièrement attractive, car de coût algorithmique nul. Dans un premier temps, nos travaux portent sur la justification théorique de cette heuristique. Nous récusons tout d'abord l'approche par développement de Taylor, qui la plus couramment usitée aujourd'hui. Nous utilisons ensuite les rapports de l'injection de bruit avec le régresseur de Nadaraya-Watson pour délimiter le cadre d'utilisation de l'heuristique. De plus, nous proposons deux modifications permettant d'élargir ce cadre à une catégorie plus vaste de problèmes, i. E. Les données irrégulièrement espacées et de grandes dimensions. Enfin, nous validons notre approche en comparant les performances de différents régresseurs sur une application à des données issues d'un processus de fabrication du verre.