Le couplage du gradient naturel et de l'incertitude via l'apprentissage actif

Linking Natural Gradient Descent to Uncertainty via Active Learning

• Auteur / Autrice : Olivier Laurent
• Direction : Roger Reynaud
• Type : Projet de thèse
• Discipline(s) : Sciences du traitement du signal et des images
• Date : Inscription en doctorat le 01/10/2022
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Systèmes et applications des technologies de l'information et de l'énergie (Gif-sur-Yvette, Essonne ; 2002-....)
• Partenaire(s) de recherche : Equipe de recherche : MOSS - Méthodes et outils pour les Signaux et Systèmes
• Partenaire(s) de recherche : Référent : Faculté des sciences d'Orsay

Mots clés

Mots clés libres

Apprentissage profond

Incertitudes

Méthodes bayésiennes

Deep learning

Uncertainty quantification

Bayesian methods

Résumé

Suivant une décennie d'avancées impressionnantes de l'apprentissage statistique, l'utilisation des méthodes bayésiennes dans les réseaux de neurones connaît actuellement un nouvel essor. Alors que ces approches sont généralement caractérisées par un coût calculatoire important, il devient néanmoins critique d'inclure l'incertitude dans les sorties finales des modèles afin de comprendre les points forts et les faiblesses de l'architecture d'un réseau. Cependant, le coût de calcul (souvent) extrême associé à ces modèles limite le choix des architectures, ce qui est à son tour préjudiciable à leur applicabilité dans les applications fondamentales des domaines concernés (e.g. vision par ordinateur). Le but de notre proposition est d'explorer des solutions tractables pour l'inférence bayésienne et de les confronter à des tâches de vision par ordinateur difficiles et réalistes.

Following a decade of impressive advancements in machine learning, there has been widestanding success using Bayesian methods in neural networks. While they can become computationally challenging, it is worthwhile to include uncertainty in downstream ML tasks in order to understand the strengths and weaknesses of a network's architecture. However, the (often) extreme computational cost associated with these models limits the choice of architectures, which is in turn detrimental for their applicability in standard applications. The aim of our proposal is to explore tractable solutions for Bayesian inference and to confront them against real-world, hard computer vision tasks.