Méthodes à noyau pour l'analyse et la décision en environnement non-stationnaire

Kernel machines for analysis and decision-making in a non-stationary environment

• Auteur / Autrice : Paul Honeine
• Direction : Cédric Richard
• Type : Thèse de doctorat
• Discipline(s) : Optimisation et sûreté des systèmes
• Date : Soutenance en 2007
• Etablissement(s) : Troyes
• Ecole(s) doctorale(s) : Ecole doctorale Sciences pour l'Ingénieur (Troyes, Aube)

Mots clés

Mots clés contrôlés

Identification des systèmes

Traitement adaptatif du signal

Reconnaissance des formes (informatique)

Analyse temps-fréquence

Résumé

Ce mémoire de thèse propose un nouveau cadre pour l’analyse et la décision en environnement non-stationnaire et en situation de pénurie d’information statistique, par une fertilisation croisée des domaines de l’analyse temps-fréquence, du traitement adaptatif du signal et de la reconnaissance des formes par méthodes à noyau. On introduit un cadre générale pour bénéficier des plus récents développements des méthodes à noyau dans le domaine temps-fréquence, grâce à un choix approprié de noyau reproduisant. On l’illustre par l’analyse en composantes principales dans ce domaine, avant d’étendre le spectre aux méthodes de classification de signaux telles que les Support Vector Machines. On montre que notre approche permet la sélection d’une représentation temps-fréquence adaptée à la résolution d’un problème de classification de signaux, grâce au critère d’alignement noyau-cible. Confronté à un environnement non-stationnaire et dynamique, un apprentissage en-ligne peut s’avérer incontournable. Les méthodes à noyau n’apportant hélas pas de réponse satisfaisante, on présente une méthode reposant sur un critère inspiré de la littérature relative à l’approximation parcimonieuse : la cohérence d’un dictionnaire de fonctions. Au-delà des nombreuses propriétés de cette grandeur que l’on étudie, cette approche permet un contrôle efficace de l’ordre du modèle avec un coût calculatoire extrêmement réduit. On l’applique dans un cadre général de méthodes adaptatives pour l’identification de systèmes non-linéaires et non-stationnaires

This PhD thesis offers a new framework for the analysis and decision-making in a non-stationary environment in the lack of statistical information, on a crossroad of three disciplines : Time-frequency analysis, adaptive signal processing and pattern recognition with kernel machines. We derive a broad framework to take advantage of recent developments in kernel machines for the time-frequency domain, by an appropriate choice of the reproducing kernel. We study the implementation of the principal component analysis on this domain, before extending its scope to signal classification methods such as Fisher discriminant analysis and Support Vector Machines. We carry out with the problem of selecting and turning a representation for a given classification task, which can take advantage of a new criterion initially developed for selecting the reproducing kernel : the kernel-target alignment. Online learning is essential in a non-stationary and dynamic environment. While kernel machines fail in treating such problems, we propose a new method leading to reduced order models based on a criterion inspired from the sparse functional approximation community : the coherence of a dictionary of functions. Beyond the properties of this parameter that we derive for kernel machines, this notion yields efficient models with extremely low computational complexity. We apply it for online kernel algorithms such as principal component analysis. We also consider a broader class of adaptive methods for nonlinear and non-stationary system identification