Apprentissage décentralisé efficace en matière de communication pour les systèmes en réseaux intelligents

Communication-efficient decentralized learning for intelligent networked systems

• Auteur / Autrice : Eunjeong Jeong
• Direction : Marios Kountouris
• Type : Thèse de doctorat
• Discipline(s) : Sciences de l'ingénieur
• Date : Soutenance le 27/09/2024
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris (1992-...)
• Partenaire(s) de recherche : Laboratoire : Institut EURECOM (Sophia-Antipolis, Alpes-Maritimes ; 1992-....)
• Jury : Président / Présidente : Navid Nikaein
• Jury : Examinateurs / Examinatrices : Zheng Chen, Giovanni Neglia
• Jury : Rapporteurs / Rapporteuses : Carlo Fischione, Jemin Lee

Mots clés

Mots clés contrôlés

Systèmes de communication sans fil

Internet des objets

Apprentissage automatique

Mots clés libres

Apprentissage automatique

Apprentissage décentralisé

Systèmes intelligents

Communications sans fil

Machine Learning

Decentralized Learning

Intelligent Systems

Wireless Communications

Résumé

L'avènement de l'Internet des Objets (IoT) a mis en évidence l'importance de l'apprentissage entièrement décentralisé (sans serveur), permettant aux modèles individuels de préserver des valeurs spécifiques telles que la préférence locale, la préservation de la vie privée ou la gestion d'une connectivité instable. Cette thèse vise à fournir un guide complet pour aborder les problèmes et comportements intrigants dans les réseaux décentralisés, où les participants utilisent des réseaux neuronaux pour effectuer diverses tâches. La première partie de la thèse explore la communication asynchrone dans l'apprentissage décentralisé sur des réseaux peu fiables. Deux types de défaillances menant au problème des traînards, à savoir le retard de communication et le retard de calcul, sont discutés et analysés. L'objectif est d'atteindre un consensus global dans de tels systèmes. La deuxième partie de la thèse se penche sur l'apprentissage fédéré décentralisé asynchrone via des communications sans fil row-stochastic. Nous soulignons le découplage des chronologies pour la communication et le calcul, conduisant à une autonomie complète des utilisateurs du réseau, contrairement aux méthodes couplées où la mise à jour des gradients et l'échange de potins se produisent soit dans un ordre prédéfini, soit de manière séquentielle. En particulier, notre schéma est le premier à considérer des mises à jour collaboratives de modèles sur une chronologie continue. L'analyse de convergence et les expériences numériques soutiennent la validité du schéma, accompagnées de plusieurs questions ouvertes intrigantes pour des recherches futures qui pourraient développer et améliorer les performances et la philosophie du cadre.Dans la troisième partie, la thèse aborde la personnalisation dans les réseaux collaboratifs décentralisés. Il est reconnu que chaque agent présente des comportements ou des motifs distincts pendant son processus d'apprentissage, plutôt que de poursuivre aveuglément un modèle global appliqué uniformément à tous les agents. Pour relever ce défi, un nouvel algorithme exploitant la distillation des connaissances pour la mesure de similarité est proposé. Cette approche permet de quantifier la distance statistique entre les modèles locaux, améliorant finalement les connexions entre les agents ayant une plus grande pertinence et améliorant de manière significative la performance par client. En combinant ces trois aspects clés, la thèse vise à fournir des orientations complètes pour le développement d'approches d'apprentissage décentralisé efficaces en termes de communication pour les systèmes réseau intelligents. Cette recherche s'efforce de repousser les limites de l'apprentissage entièrement décentralisé, contribuant à l'avancement des techniques d'apprentissage machine distribué.

The advent of the Internet of Things (IoT) led to the significance of fully decentralized (serverless) learning that enables individual models to preserve specific values such as local preference, privacy preservation, or coping with unstable connectivity. This thesis aims to provide a comprehensive guide to address intriguing problems and behaviors in decentralized networks, where participants utilize neural networks to perform various tasks.The first part of the thesis explores asynchronous communication in decentralized learning over unreliable networks. Two types of impairments leading to the straggler problem, namely communication delay and computation delay, are discussed and analyzed. The objective is to achieve a global consensus in such systems.The second part of the thesis delves into asynchronous decentralized federated learning over row-stochastic wireless communications. We underline the decoupling of timelines for communication and computation, leading to full autonomy of the network users, unlike the coupled methods where gradient update and gossip exchange happen either in a predefined order or sequentially. Particularly, our scheme is the first work that has considered collaborative model updates on a continuous timeline. Convergence analysis and numerical experiments support the validity of the scheme, along with several intriguing open questions for further research that might develop and enhance the performance and the philosophy of the framework. In the third part, the thesis addresses personalization in decentralized collaborative networks. It is acknowledged that each agent exhibits distinct behaviors or patterns during its learning process, rather than blindly pursuing a global model applied uniformly to all agents. To address this challenge, a novel algorithm leveraging knowledge distillation for similarity measurement is proposed. This approach enables the quantification of statistical distance across local models, ultimately enhancing the connections between agents with higher relevance and significantly improving per-client performance. By combining these three key aspects, the thesis aims to provide comprehensive guidance for the development of communication-efficient decentralized learning approaches for intelligent networked systems. This research strives to push the boundaries of fully decentralized learning, contributing to the advancement of distributed machine learning techniques.