Etude de l'apprentissage et des structures des réseaux de neurones multicouches pour l'analyse de données

Study of the training and structures of multilayer neural networks for data analysis

• Auteur / Autrice : Régis Quélavoine
• Direction : Henri Méloni
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance en 1997
• Etablissement(s) : Avignon

Mots clés

Mots clés contrôlés

Réseaux neuronaux (informatique)

Résumé

Le probleme de la reconnaissance automatique des signaux transitoires en acoustique sous-marine est tres delicat : on ne connait pas les parametres pertinents, encore moins les regles de decision des experts humains qui ne sont pas infaillibles ! Les reseaux neuromimetiques sont capables de realiser en partie cette tache complexe, mais ils souffrent d'une image de boite noire qui rend l'utilisateur mefiant : quelles sont les regles de decision simulees ? Correspondent-elles a ce que nous attendons ? Pour repondre a ces questions, nous nous sommes interesses a l'etude de l'apprentissage et des structures des reseaux de neurones multicouches afin d'en extraire cette information manquante. Dans ce but, il nous a fallu aborder cinq etapes chronologiques dans l'apprentissage. Nous utilisons un pretraitement des donnees adapte aux reseaux de neurones, attenuant la saturation des noeuds, et augmentant le potentiel discriminant des parametres. En outre, une fois les entrees ramenees a la meme amplitude de variation, seuls les poids vont traduire l'importance des parametres. Nous reglons ensuite le probleme de la pollution des corpus par les erreurs d'etiquetage en pratiquant un apprentissage selectif, adaptation de la retropropagation du gradient. Cette technique isole automatiquement les exemples incoherents et evite de surcroit le sur-apprentissage. L'etape suivante est la selection des parametres pertinents pour une classification. Nous proposons un critere hierarchique issu de l'analyse des poids des reseaux, qui se montre plus precis que ceux proposes auparavant. Il mesure les capacites activatrice et inhibitrice de chaque entree. La hierarchie obtenue nous permet de detecter les biais reduisant la robustesse du systeme, et de les corriger en generant automatiquement des exemples types qui viendront completer le corpus. Cette phase est primordiale pour l'interpretation ulterieure des regles de decision apprises. La methode nous donne aussi un moyen de fabriquer artificiellement des corpus d'apprentissage performants et de taille reduite. Enfin, apres avoir construit un echantillon optimal d'apprentissage, nous pouvons determiner a partir d'un reseau les hyperplans correspondant aux regles de decision simulees. Nous obtenons alors un systeme equivalent d'inequations avec des performances comparables en reconnaissance. Ces techniques, appliquees a differents cas d'ecole ou au difficile probleme des signaux transitoires, conduisent a des gains significatifs en vitesse d'apprentissage et en qualite de la generalisation. Outre une meilleure maitrise des reseaux de neurones, elles ouvrent des perspectives interessantes d'application dans de nombreux domaines ou notre connaissance reste insuffisante