Optimisation de réseaux profonds multi-tâches

Optimization of deep multi-task networks

• Auteur / Autrice : Lucas Pascal
• Direction : Maria Alejandra Zuluaga Valencia
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 08/11/2021
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris (1992-...)
• Partenaire(s) de recherche : Laboratoire : Institut EURECOM (Sophia-Antipolis, Alpes-Maritimes)
• Jury : Président / Présidente : François Brémond
• Jury : Examinateurs / Examinatrices : Ender Konukoğlu, Pietro Michiardi
• Jury : Rapporteur / Rapporteuse : Pablo Andrés Arbelaez Escalante, Marcel Worring

Mots clés

Mots clés contrôlés

Intelligence artificielle en médecine

Diagnostic

Glaucome

Apprentissage profond

Réseaux neuronaux (informatique)

Mots clés libres

Optimisation

Réseaux de neurones

Apprentissage multi-tâches

Optimization

Deep neural networks

Multi-task learning

Résumé

L'apprentissage multi-tâches est un paradigme d'apprentissage impliquant l’optimisation de paramètres par rapport à plusieurs tâches simultanément. En apprenant plusieurs tâches liées, un modèle d'apprentissage dispose d'un ensemble d'informations plus complet concernant le domaine dont les tâches sont issues, lui permettant ainsi de construire un meilleur ensemble d’hypothèse sur ce domaine. Cependant, en pratique, les gains de performance obtenus par les réseaux multi-tâches sont loin d'être systématiques. Il arrive au contraire que ces réseaux subissent une perte de performance liée à des phénomènes d’interférences entre les différentes tâches. Cette thèse traite du problème d'interférences en apprentissage multi-tâches, afin d'améliorer les capacités de généralisation des réseaux de neurones profonds.

Multi-task learning (MTL) is a learning paradigm involving the joint optimization of parameters with respect to multiple tasks. By learning multiple related tasks, a learner receives more complete and complementary information on the input domain from which the tasks are issued. This allows to gain better understanding of the domain by building a more accurate set of assumptions of it. However, in practice, the broader use of MTL is hindered by the lack of consistent performance gains observed by deep multi-task networks. It is often the case that deep MTL networks suffer from performance degradation caused by task interference. This thesis addresses the problem of task interference in Multi-Task learning, in order to improve the generalization capabilities of deep neural networks.