Apprentissage décentralisé en présence de systèmes hétérogènes

Decentralized learning in the presence of heterogeneous systems

• Auteur / Autrice : Yara Zgheib
• Direction : Marc Antonini, Roula Nassif
• Type : Projet de thèse
• Discipline(s) : Automatique traitement du signal et des images
• Date : Inscription en doctorat le 01/10/2023
• Etablissement(s) : Université Côte d'Azur
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Nice ; 1992-....)
• Partenaire(s) de recherche : Laboratoire : I3S - Informatique, Signaux et Systèmes de Sophia-Antipolis

Mots clés

Mots clés libres

Optimisation convexe

Algèbre lineaire

Traitement du signal

Convex optimization

Linear algebra

Signal processing

Résumé

Les téléphones mobiles, les dispositifs portables, les véhicules autonomes, les maisons intelligentes et les hôpitaux sont des exemples de réseaux distribués modernes générant chaque jour d'énormes quantités de données. En raison de la puissance de calcul croissante de ces dispositifs et de la taille croissante des ensembles de données, associées aux préoccupations concernant le partage de données privées, l'apprentissage fédéré et décentralisé de modèles statistiques est devenu souhaitable et souvent nécessaire. Dans ces approches, chaque appareil participant (appelé client, agent ou nœud) dispose d'un ensemble de données d'entraînement local qui n'est jamais téléchargé sur le serveur. Les données d'entraînement sont conservées localement sur les appareils des utilisateurs, et les appareils sont utilisés comme agents effectuant des calculs sur leurs données locales afin de mettre à jour les modèles globaux d'intérêt. Aujourd'hui, de nombreuses industries et grandes entreprises (telles que Google, Apple, etc.) commencent à intégrer de telles technologies dans leurs produits. Par exemple, l'équipe de développement du clavier Gboard de Google utilise l'apprentissage fédéré pour former des modèles statistiques qui résolvent le problème de prédiction du mot suivant sur les téléphones mobiles. Dans les applications où la communication avec un serveur devient un goulot d'étranglement, les topologies décentralisées (où les agents ne communiquent qu'avec leurs appareils voisins) sont des alternatives potentielles aux topologies fédérées (où un serveur central se connecte à tous les appareils distants). Ce projet de thèse s'inscrit dans le vaste thème de l'apprentissage et de l'optimisation décentralisés sur les graphes. Il reconnaît la capacité croissante de nombreuses technologies émergentes à collecter des données de manière distribuée et en continu. Par conséquent, l'accent sera mis sur la conception d'approches décentralisées où les appareils collectent des données de manière continue et où les modèles de génération de données sous-jacents évoluent avec le temps. Le projet reconnaît également que les applications modernes d'apprentissage automatique (où d'énormes volumes de données d'entraînement sont générés en continu par un grand nombre d'appareils hétérogènes) présentent plusieurs propriétés clés qui les différencient des applications d'inférence distribuée standard. Une attention particulière sera accordée au développement et à l'étude d'approches pour l'apprentissage décentralisé dans des environnements statistiquement hétérogènes en présence de ressources de communication limitées et de dispositifs système hétérogènes. L'accent de la thèse sera spécifiquement mis sur l'illustration de l'intérêt des approches proposées dans les cadres d'apprentissage automatique à l'aide d'ensembles de données accessibles au public. La thèse se concentre sur le développement de nouvelles approches d'inférence décentralisée pour l'apprentissage à partir de données collectées de manière distribuée et continue. Alors que la plupart des approches d'apprentissage fédéré supposent un ensemble fixe de clients, chacun avec un ensemble de données local fixe, la thèse considère des paramètres où les appareils collectent des données de manière continue et où les modèles de génération de données sous-jacents évoluent avec le temps. Par conséquent, les solutions doivent être capables d'apprendre en continu à partir de données en streaming et de s'adapter aux changements de l'environnement.

Mobile phones, wearable devices, autonomous vehicles, smart homes, and hospitals are examples of modern distributed networks generating massive amounts of data each day. Due to the growing computational power in these devices and the increasing size of the datasets, coupled with concerns over sharing private data, federated and decentralized training of statistical models have become desirable and often necessary. In these approaches, each participating device (which is referred to as client, agent, or node) has a local training dataset which is never uploaded to the server. Training data is kept locally on users' devices, and the devices are used as agents performing computation on their local data in order to update global models of interest. Today, many industries and major companies (such as Google, Apple, etc.) are beginning to incorporate such technologies into their own products. Google's Gboard keyboard team is using for instance federated learning to train statistical models that solve the next word prediction problem on mobile phones [1]. In applications where communication to a server becomes a bottleneck, decentralized topologies (where agents only communicate with their neighboring devices) are potential alternatives to federated topologies (where a central server connects with all remote devices). This thesis project falls into the broad theme of performing decentralized learning and optimization over graphs. It recognizes the increasing ability of many emerging technologies to collect data in a distributed and streamed manner. Therefore, the focus will be on designing decentralized approaches where devices are collecting data in a continuous manner and where the underlying data-generation models are changing over time. The project also recognizes that modern machine learning applications (where tremendous volumes of training data are generated continuously by a massive number of heterogeneous devices) have several key properties that differentiate them from standard distributed inference applications. Particular focus will be given to developing and studying approaches for decentralized learning in statistical heterogeneous settings in the presence of limited communication resources and heterogeneous system devices. The thesis emphasis will specifically be on illustrating the interest of the proposed approaches in machine learning frameworks using publicly available datasets. The thesis focuses on developing new decentralized inference approaches for learning from data collected in a distributed and streamed manner. While most of the federated learning approaches assume a fixed set of clients, each with a fixed local dataset [1–6], the thesis considers settings where devices are collecting data in a continuous manner and where the underlying data-generation models are changing over time. Therefore, the solutions must be able to learn continuously from streaming data and to adapt to changes in the environment.