Explorer l'intersection entre l'apprentissage profond bayésien et les processus gaussiens

Exploring the Intersection of Bayesian Deep Learning and Gaussian Processes

• Auteur / Autrice : Bogdan Kozyrskiy
• Direction : Maurizio Filippone
• Type : Thèse de doctorat
• Discipline(s) : Informatique, télécommunications et électronique
• Date : Soutenance le 13/04/2023
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris (1992-...)
• Partenaire(s) de recherche : Laboratoire : Institut EURECOM (Sophia-Antipolis, Alpes-Maritimes ; 1992-....)
• Jury : Président / Présidente : Pietro Michiardi
• Jury : Examinateurs / Examinatrices : Elena Cabrio
• Jury : Rapporteurs / Rapporteuses : Olivier Roustant, Michael Kampffmeyer

Mots clés

Mots clés contrôlés

Noyaux (analyse fonctionnelle)

Réseaux neuronaux (informatique)

Statistique bayésienne

Processus gaussiens

Apprentissage profond

Mots clés libres

Processus gaussiens

Réseaux de neurones bayésiens

Caractéristiques aléatoires

Méthodes de noyau

Apprentissage profond

Unité de traitement optique

Gaussian Processes

Bayesian Neural Networks

Random Features

Résumé

L'apprentissage profond a joué un rôle significatif dans l'établissement de l'apprentissage automatique comme un instrument indispensable dans plusieurs domaines. L'utilisation de l'apprentissage profond pose plusieurs défis. L'apprentissage profond nécessite beaucoup de puissance de calcul pour entraîner et appliquer des modèles. Un autre problème de l'apprentissage profond est son incapacité à estimer l'incertitude des prédictions, ce qui crée des obstacles dans les applications sensibles aux risques. Cette thèse présente quatre projets pour résoudre ces problèmes: Nous proposons une approche faisant appel à des unités de traitement optique pour réduire la consommation d'énergie et accélérer l'inférence des modèles profonds. Nous abordons le problème des estimations d'incertitude pour la classification avec l'inférence bayésienne. Nous introduisons des techniques pour les modèles profonds qui réduisent le coût de l'inférence bayésienne. Nous avons développé un nouveau cadre pour accélérer la régression des processus gaussiens. Nous proposons une technique pour imposer des priorités fonctionnelles significatives pour les modèles profonds à travers des processus gaussiens.

Deep learning played a significant role in establishing machine learning as a must-have instrument in multiple areas. The use of deep learning poses several challenges. Deep learning requires a lot of computational power for training and applying models. Another problem with deep learning is its inability to estimate the uncertainty of the predictions, which creates obstacles in risk-sensitive applications. This thesis presents four projects to address these problems: We propose an approach making use of Optical Processing Units to reduce energy consumption and speed up the inference of deep models. We address the problem of uncertainty estimates for classification with Bayesian inference. We introduce techniques for deep models that decreases the cost of Bayesian inference. We developed a novel framework to accelerate Gaussian Process regression. We propose a technique to impose meaningful functional priors for deep models through Gaussian Processes.