Meta-apprentissage pour l'apprentissage multi-tâches. Application à la médecine personnalisée

Meta-learning for Multi-task learning. Application personalized medicine

• Auteur / Autrice : Judith Coutrot
• Direction : Farida Zehraoui
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 01/10/2025
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication
• Partenaire(s) de recherche : Laboratoire : IBISC - Informatique, BioInformatique, Systèmes Complexes
• Partenaire(s) de recherche : Equipe de recherche : AROBAS : Algorithmique, Recherche Opérationnelle, Bioinformatique et Apprentissage Statistique
• Partenaire(s) de recherche : Référent : Université d'Évry Val d'Essonne

Mots clés

Mots clés libres

Apprentissage profond

Méta-apprentissage

Apprentissage multi-tâches

Médecine personnalisée

Optimization multi-objectif

Personalized medicine

Multi-task learning

Deep learning

Multi-objective optimization

Meta-learning

Résumé

L'apprentissage multi-tâches implique la gestion de plusieurs objectifs contradictoires, ce qui nécessite de faire des compromis. Une méthode courante consiste à optimiser une fonction objectif scalaire, en minimisant une combinaison linéaire pondérée des pertes liées aux tâches. Toutefois, cette approche n'est efficace que lorsque les tâches ne sont pas en concurrence, ce qui n'est souvent pas le cas. Dans [1], les auteurs représentent explicitement l'apprentissage multi-tâches comme un problème d'optimisation multi-objectifs. L'optimisation multi-objectifs se concentre sur l'identification des solutions Pareto optimales, qui sont définies comme des solutions non dominées. Cette méthode est de plus en plus populaire dans l'apprentissage automatique, en particulier dans l'apprentissage profond (DL), car elle répond aux limites des techniques de scalarisation [1]. Il existe plusieurs algorithmes pour résoudre les problèmes d'optimisation multi-objectifs, les méthodes évolutionnaires et celles basées sur le gradient étant parmi les plus importantes. Toutefois, la recherche de solutions Pareto optimales peut s'avérer assez difficile en pratique. Plusieurs travaux ont défini les conditions nécessaires pour atteindre la Pareto optimalité, notamment par la recherche de solution Pareto critiques et Pareto stationnaires [2]. Ces dernières années, les algorithmes de descente de gradient multi-objectifs sont de plus en plus utilisés dans les réseaux neuronaux profonds. Il existe deux approches principales de l'optimisation multi-objectifs dans les réseaux neuronaux profonds : Les manipulations multi-objectives du gradient (MOGM) [3] et les approches du front de Pareto (PF) [4]. Les algorithmes MOGM fournissent une solution Pareto optimale unique, tandis que les approches PF visent à générer un ensemble de solutions qui résident sur le front de Pareto. La plupart des méthodes proposées combinent explicitement les gradients de manière linéaire. Dans ce projet, nous visons à combler une lacune dans la littérature actuelle en proposant des nouvelles architectures d'apprentissage profond multi-tâches qui peuvent gérer les conflits entre les tâches. Nous allons considérer l'apprentissage multi-tâches comme un problème d'optimisation multi-objectifs. Notre objectif sera de proposer de nouvelles approches de descente de gradient multi-objectifs basées sur le méta-apprentissage. Ces approches vont considérer non seulement des combinaisons non linéaires de gradients mais vont générer également un front de Pareto continu. Les méthodes résultantes seront appliquées dans le domaine de la médecine personnalisée.

Multitask learning involves managing several conflicting objectives, which requires making trade-offs. A common method is to optimize a proxy objective by minimizing a weighted linear combination of task losses. However, this approach is only effective when the tasks do not compete with one another, which is often not the case. In [1], the authors explicitly represent multitask learning as a multi-objective optimization problem. Multi-objective optimization focuses on identifying Pareto optimal solutions, which are defined as non-dominated solutions. This method is becoming popular in machine learning, especially in deep learning (DL), as it addresses the limitations of scalarization techniques [1]. There are various algorithms available to tackle multi-objective optimization problems, with evolutionary and gradient-based methods being among the most prominent. However, finding Pareto optimal solutions can be quite challenging in practice. Several works defined the necessary conditions for achieving Pareto optimality, including Pareto criticality and Pareto stationarity [2]. In recent years, the use of multi-objective gradient descent algorithms in deep neural networks (DNNs) has become increasingly prevalent. There are two primary approaches to multi-objective optimization within DNNs: Multi-Objective Gradient Manipulations (MOGM) [3] and Pareto Front (PF) approaches [4]. MOGM algorithms focus on providing a single Pareto optimal solution, whereas PF approaches aim to generate a set of solutions that reside on the Pareto front. Most proposed methods explicitly combine gradients in a linear fashion. In this project, we aim to address a gap in the current literature by proposing a new multitask deep learning architecture that can handle conflicts between tasks. We will achieve this by considering multitask learning as multi-objective optimization. Our objective is to propose novel multi-objective gradient descent approaches based on meta-learning. These approaches not only consider nonlinear combinations of gradients but also generate a continuous Pareto front. The resulting methods will be applied in the field of personalized medicine.