Kernel learning for structured data : a study on learning operator - and scalar - valued kernels for multi-view and multi-task learning problems

• Auteur / Autrice : Riikka Huusari
• Direction : Cécile Capponi, Hachem Kadri
• Type : Thèse de doctorat
• Discipline(s) : Automatique
• Date : Soutenance le 07/11/2019
• Etablissement(s) : Aix-Marseille
• Ecole(s) doctorale(s) : École doctorale Mathématiques et Informatique de Marseille (Marseille ; 1994-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d’Informatique et Systèmes (Marseille ; La Garde, Var ; 2018-….)
• Jury : Président / Présidente : Liva Ralaivola
• Jury : Examinateurs / Examinatrices : Massih-Reza Amini, Alain Rakotomamonjy
• Jury : Rapporteurs / Rapporteuses : Juho Rousu, Amaury Habrard

Mots clés

Mots clés contrôlés

Apprentissage automatique

Noyaux (analyse fonctionnelle)

Modélisation des données (informatique)

Mots clés libres

Methodes à noyaux

Apprentissage de noyaux

Noyaux à valeurs operateurs

Apprentissage multi-Vues

Apprentissage multi-Tâches

Kernel methods

Kernel learning

Operator-Valued kernels

Multi-View learning

Multi-Output learning

Résumé

Aujourd'hui il y a plus en plus des données ayant des structures non-standard. Cela inclut le cadre multi-tâches où chaque échantillon de données est associé à plusieurs étiquettes de sortie, ainsi que le paradigme d'apprentissage multi-vues, dans lequel chaque échantillon de données a de nombreuses descriptions. Il est important de bien modéliser les interactions présentes dans les vues ou les variables de sortie.Les méthodes à noyaux offrent un moyen justifié et élégant de résoudre de problèmes d’apprentissage. Les noyaux à valeurs opérateurs, qui généralisent les noyaux à valeur scalaires, ont récemment fait l’objet d’une attention. Toujours le choix d’une fonction noyau adaptée aux données joue un rôle crucial dans la réussite de la tâche d’apprentissage.Cette thèse propose l’apprentissage des noyaux comme une solution à problèmes d’apprentissage automatique de multi-tâches et multi-vues. Les chapitres deux et trois étudient l’apprentissage des interactions entre données à vues multiples. Le deuxième chapitre considère l'apprentissage inductif supervisé et les interactions sont modélisées avec des noyaux à valeurs opérateurs. Le chapitre trois traite un contexte non supervisé et propose une méthode d’apprentissage du noyau à valeurs scalaires pour compléter les données manquantes dans les matrices à noyaux issues d’un problème à vues multiples. Dans le dernier chapitre, nous passons à un apprentissage à sorties multiples, pour revenir au paradigme de l'apprentissage inductif supervisé. Nous proposons une méthode d’apprentissage de noyaux inséparables à valeurs opérateurs qui modélisent les interactions entre les entrées et de multiples variables de sortie.

Nowadays datasets with non-standard structures are more and more common. Examples include the already well-known multi-task framework where each data sample is associated with multiple output labels, as well as the multi-view learning paradigm, in which each data sample can be seen to contain numerous descriptions. To obtain a good performance in tasks like these, it is important to model the interactions present in the views or output variables well.Kernel methods offer a justified and elegant way to solve many machine learning problems. Operator-valued kernels, which generalize the well-known scalar-valued kernels, have gained attention recently as a way to learn vector-valued functions. The choice of a good kernel function plays crucial role for the success on the learning task.This thesis offers kernel learning as a solution for various machine learning problems. Chapters two and three investigate learning the data interactions with multi-view data. In the first of these, the focus is in supervised inductive learning and the interactions are modeled with operator-valued kernels. Chapter three tackles multi-view data and kernel learning in unsupervised context and proposes a scalar-valued kernel learning method for completing missing data in kernel matrices of a multi-view problem. In the last chapter we turn from multi-view to multi-output learning, and return to the supervised inductive learning paradigm. We propose a method for learning inseparable operator-valued kernels that model interactions between inputs and multiple output variables.