Garanties théoriques et optimisation de l'apprentissage distribué

Theoretical Guarantees and Optimization of Distributed Learning

• Auteur / Autrice : Victor Leger
• Direction : Romain Couillet, Denis Trystram
• Type : Projet de thèse
• Discipline(s) : Mathématiques Appliquées
• Date : Inscription en doctorat le 01/10/2021
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale mathématiques, sciences et technologies de l'information, informatique
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'Informatique de Grenoble

Mots clés

Mots clés libres

Théorie des matrices aléatoires

Apprentissage semi-supervisé

Apprentissage par transfert

Statistiques en grande dimension

Informatique en périphérie

Random matrix theory

Edge-computing

Large dimensional statistics

Semi-supervised learning

Transfer learning

Résumé

Avec leurs très bons résultats obtenus récemment pour les tâches de classification, les réseaux de neurones profond attirent de plus en plus l'attention. L'une des tâches particulièrement intéressante réalisée par ces réseaux est appelé 'apprentissage par transfert', également liée à l'apprentissage fédéré et l'apprentissage multitâches, consiste à apprendre une tâche avec peu de données labellisées à partir d'une autre tâche pour laquelle un grand nombre de données labellisées est disponible, ou bien d'utiliser un réseau déjà entraîné pour une tâche pour apprendre une autre tâche. Grâce aux avancées techniques issues de la théorie des matrices aléatoires (statistiques en grande dimension), il est apparaît clairement désormais que l'apprentissage par transfert peut être effectué intelligemment, être complètement compris et largement amélioré, sans faire appel aux structures complexes et coûteuses en calcul que sont les réseaux de neurones. Pour autant, les études actuelles concernent principalement une application triviale de l'apprentissage par transfert basé sur une régression linéaire, avec des données sources et cibles de mêmes tailles, ainsi que tâches identiques. Pendant le stage actuel de Victor LEGER (master MVA) et Sami Fahkri (1ère année à l'Ensimag) au sein de la chair MIAI LargeDATA, nous avons étendu l'analyse décrite précédemment à un apprentissage par transfert plus ambitieux impliquant plusieurs tâches et jeux de données (i) avec potentiellement très peu de données labellisées par tâche (donc avec une approche semi-supervisée) et (ii) limitant au maximum les échanges de données entre les lieux distants (donc avec une approche d'informatique en périphérie). Cela a été fait en utilisant les méthodes, techniques et résultats développés ces dernières années dans le domaine des matrices aléatoires. L'objectif de la thèse est de continuer dans la même voie pour développer des algorithmes distribués simples et efficaces en terme de calcul pour des problèmes réels qui se posent concernant l'apprentissage par transfert/multitâches, et leur garanties théoriques (distance à l'optimum). De plus, en parallèle de la thèse en cours de Minh-Toan NGUYEN sur les bornes de théorie de l'information appliquées à l'apprentissage, la thèse se concentrera sur la réduction systématique des coûts de calcul et de l'échange de données, tout en gardant une perte minimale de l'optimalité, s'engageant ainsi dans une entreprise soutenue par la théorie. Des applications pratiques au secteur médical (MRI ou EEG utilisant des données à distance) et à d'autres domaines ayant un impact sociétal positif serviront à valider concrètement les résultats.

With the recent compelling showcases of deep learning in performing advanced classification tasks, deep neural networks are given more and more attention these days. One particularly interesting task performed by these networks is called “transfer learning”, also related to federated learning and multi-task learning, consisting in learning from a given task for which a large labelled database is available to learn and train another data-scarce task, or alternatively using an already trained network on a given task to learn another task. Thanks to advanced techniques from random matrix theory (large dimensional statistics), it has recently become clear that transfer learning can be smartly performed, fully understood and dramatically improved without resorting to these heavily complex and computationally intensive neural network structures. Yet, current studies mainly concern the trivial application of a linear regression-based transfer learning scheme, for both source and target data of the same size, and for identically source and target tasks. In the on-going internships of Victor LEGER (master MVA) and Sami Fahkri (1 st year Ensimag) within the MIAI LargeDATA chair, we extended the aforementioned analysis to the more challenging transfer learning involving multiple tasks and datasets (i) with possibly very few labelled data per task (thus with a semi-supervised angle) and (ii) constraining the exchanges of data from remote places to a minimum (thus with here an edge-computing vision). This was performed by exploiting methods, techniques, and results developed in the recent years in the random matrix domain. The objective of the PhD thesis is to walk in the steps of the preliminary works produced during these internships so to develop simple and computationally-efficient distributed algorithms for realistic questions arising in multi-task/transfer learning and their theoretical guarantees (distance to optimality). In addition, in conjunction with the on-going PhD thesis of Minh-Toan NGUYEN on the information-theoretic bounds of learning, the thesis will focus on the systematic reduction of computational costs and data exchanges while maintaining a minimal loss to optimality, in this way engaging in a theoretically-sustained edge-computing” endeavor. Practical application to the medical sector (MRI or EEG processing exploiting remote data) and to other domains of positive societal impact will serve as concrete validation of the results.