Apprentissage automatique décentralisé en systèmes hétérogènes.

Automatic decentralized learning in heterogenous systems

• Auteur / Autrice : Gustavo Faia fagundes
• Direction : Marc Antonini, Roula Nassif
• Type : Projet de thèse
• Discipline(s) : Automatique traitement du signal et des images
• Date : Inscription en doctorat le 01/10/2024
• Etablissement(s) : Université Côte d'Azur
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication
• Partenaire(s) de recherche : Laboratoire : I3S - Informatique, Signaux et Systèmes de Sophia-Antipolis

Mots clés

Mots clés libres

Apprentissage décentralisé

Apprentissage statistique

Systèmes hétérogènes.

Decentralized learning

Statistical learning

Heterogenous enviroments

Résumé

Le projet de thèse s'inscrit dans le thème général de l'apprentissage statistique décentralisé. Reconnaissant la tendance croissante à la collecte continue de données par des nœuds (clients, appareils, etc.), l'accent sera mis sur le développement de méthodes capables de traiter efficacement les données continues et en temps réel. De plus, étant donné que les modèles de génération de données sous-jacents peuvent évoluer avec le temps, les approches développées devront s'adapter à ces changements pour garantir la robustesse et la précision du processus d'apprentissage. Les applications modernes d'apprentissage automatique impliquent souvent des sources de données et des systèmes hétérogènes. Le projet devra relever les défis liés à l'hétérogénéité statistique, en se concentrant sur le développement de techniques capables de gérer des distributions et des caractéristiques de données variées. La thèse prendra également en compte la diversité des dispositifs participant au processus d'apprentissage décentralisé, y compris les variations en termes de capacités de calcul, de contraintes de mémoire et de protocoles de communication. En se concentrant sur ces aspects, l'objectif de cette thèse est de développer des solutions pratiques et évolutives pouvant être appliquées aux applications d'apprentissage automatique réelles, répondant ainsi aux défis rencontrés dans les environnements de données distribuées modernes. En proposant une famille d'approches d'apprentissage décentralisées capables de gérer des environnements statistiques hétérogènes et des scénarios d'acquisition de données variés, la thèse vise à faire progresser l'état de l'art en matière d'apprentissage automatique décentralisé. Les approches développées permettront un apprentissage efficace et adaptatif dans des environnements dynamiques tout en répondant aux défis liés à l'hétérogénéité des données. De plus, les analyses et expériences menées tout au long de la thèse fourniront des informations précieuses sur le comportement et les performances des méthodes d'apprentissage décentralisé, contribuant ainsi à une meilleure compréhension de l'apprentissage automatique dans les environnements distribués. La prolifération des réseaux distribués modernes, tels que les téléphones mobiles, les objets connectés, les hôpitaux, les véhicules autonomes et les maisons intelligentes, a conduit à la génération quotidienne de quantités massives de données. Cet afflux de données, combiné aux préoccupations liées à la confidentialité et aux limitations du traitement centralisé des données, a conduit à l'adoption d'approches fédérées et décentralisées pour l'apprentissage de modèles statistiques. Dans ces approches, chaque appareil participant (appelé client ou agent) conserve un ensemble local de données d'entraînement qui n'est jamais téléchargé sur le serveur. Les données d'entraînement restent sur les appareils des utilisateurs, et ces appareils sont utilisés comme agents effectuant des calculs sur leurs données locales pour mettre à jour des modèles globaux d'intérêt. Cette approche permet d'entraîner des modèles sans centraliser les données sensibles, répondant ainsi aux préoccupations en matière de confidentialité tout en tirant parti des connaissances collectives présentes dans les ensembles de données distribués. De grandes entreprises comme Google et Apple ont commencé à intégrer ces technologies dans leurs produits et services. Par exemple, l'équipe de Gboard de Google utilise l'apprentissage fédéré pour améliorer la prédiction du mot suivant sur les appareils mobiles. Dans les applications où la communication avec un serveur devient un goulot d'étranglement, les topologies décentralisées (où les agents ne communiquent qu'avec les appareils voisins) sont des alternatives potentielles aux topologies fédérées, où un serveur central se connecte à tous les appareils distants. Contrairement aux approches traditionnelles d'apprentissage fédéré, qui supposent un ensemble fixe de clients avec des ensembles de données locaux statiques, la thèse reconnaît la nature dynamique de la collecte de données dans les environnements distribués modernes. Ici, les appareils collectent continuellement des données et les modèles de génération de données sous-jacents évoluent avec le temps. Par conséquent, les solutions proposées devront s'adapter à ces conditions dynamiques et apprendre en continu à partir de données en flux. De plus, dans les applications modernes d'apprentissage automatique, les appareils génèrent des données qui ne sont pas distribuées de manière identique en raison des variations de comportement des utilisateurs et de l'utilisation des appareils. Cela pose un défi, car les approches traditionnelles, qui supposent des données distribuées de manière identique, peuvent entraîner une mauvaise performance du modèle. La thèse se concentre sur les réseaux statistiques hétérogènes, où les distributions de données varient considérablement entre les appareils. Dans ces réseaux, les agents peuvent avoir besoin d'estimer et de suivre simultanément plusieurs tâches distinctes. Cela nécessite le développement d'algorithmes capables de gérer efficacement des scénarios d'apprentissage multitâche. Ces algorithmes doivent pouvoir s'adapter à la dynamique des tâches et ajuster les paramètres du modèle en conséquence. De plus, dans des contextes où les données étiquetées sont rares ou inexistantes pour certains appareils, l'apprentissage semi-supervisé devient essentiel. Les systèmes d'apprentissage semi-supervisé exploitent à la fois les données étiquetées et non étiquetées pour améliorer la performance du modèle. Le développement d'algorithmes d'apprentissage semi-supervisé efficaces qui utilisent efficacement les données non étiquetées est crucial pour de telles applications. Enfin, il est important de noter que la majorité des algorithmes d'optimisation fédérée restent proches des configurations centralisées, car ils nécessitent un coordinateur central. Dans les applications où la communication avec un serveur devient un obstacle, les topologies décentralisées constituent des alternatives potentielles aux topologies fédérées. La thèse se concentre sur le développement d'approches d'inférence décentralisées et reconnaît le défi associé à la conception de telles approches, où le comportement global doit émerger des interactions et des calculs locaux.

The thesis project falls within the general theme of decentralized statistical learning. Recognizing the growing trend of continuous data collection by nodes (clients, devices, etc.), the focus will be on developing methods capable of efficiently processing continuous and real-time data. Additionally, acknowledging that the underlying data generation models may change over time, the approaches developed must adapt to these changes, ensuring robustness and accuracy in the learning process. Modern machine learning applications often involve heterogeneous data sources and systems. The project must address challenges related to statistical heterogeneity, focusing on developing techniques that can handle diverse data distributions and characteristics. The thesis will also take into account the diversity of devices participating in the decentralized learning process, including variations in computing capabilities, memory constraints, and communication protocols. By focusing on these aspects, the objective of this thesis is to develop practical and scalable solutions that can be applied to real-world machine learning applications, thus addressing the challenges encountered in modern distributed data environments. By proposing a family of decentralized learning approaches capable of handling heterogeneous statistical environments and data acquisition scenarios, the thesis aims to advance the state of the art in decentralized machine learning. The developed approaches will enable efficient and adaptive learning in dynamic environments while addressing the challenges of data heterogeneity. Furthermore, the analyses and experiments conducted throughout the thesis will provide valuable insights into the behavior and performance of decentralized learning methods, contributing to a better understanding of machine learning in distributed environments. The proliferation of modern distributed networks, such as mobile phones, wearables, hospitals, autonomous vehicles, and smart homes, has led to the generation of massive amounts of data daily. This influx of data, combined with privacy concerns and the limitations of centralized data processing, has led to the adoption of federated and decentralized approaches to statistical model learning. In these approaches, each participating device (referred to as a client or agent) retains a local set of training data that is never uploaded to the server. The training data remains on users' devices, and the devices are used as agents performing computations on their local data to update global models of interest. This approach enables model training without centralizing sensitive data, addressing privacy concerns while leveraging the collective knowledge present in distributed datasets. Large companies like Google and Apple have started integrating these technologies into their products and services. For example, Google's Gboard team uses federated learning to improve next-word prediction on mobile devices. In applications where communication with a server becomes a bottleneck, decentralized topologies (where agents communicate only with neighboring devices) are potential alternatives to federated topologies, where a central server connects to all remote devices. Unlike traditional federated learning approaches, which operate under the assumption of a fixed set of clients with static local datasets, the thesis acknowledges the dynamic nature of data collection in modern distributed environments. Here, devices continuously collect data, and the underlying data generation models evolve over time. As a result, the proposed solutions must adapt to these dynamic conditions and continuously learn from streaming data. Moreover, in modern machine learning applications, devices generate data that is not identically distributed due to variations in user behavior and device usage. This poses a challenge because traditional approaches, which assume identically distributed data, may lead to poor model performance. The thesis focuses on heterogeneous statistical networks, where data distributions vary significantly between devices. In these networks, agents may need to estimate and track multiple distinct tasks simultaneously. This requires the development of algorithms capable of efficiently handling multitask learning scenarios. These algorithms must be able to adapt to task dynamics and adjust model parameters accordingly. Furthermore, in contexts where labeled data is scarce or unavailable for certain devices, semi-supervised learning becomes essential. Semi-supervised learning systems leverage both labeled and unlabeled data to improve model performance. Developing efficient semi-supervised learning algorithms that effectively utilize unlabeled data is crucial for such applications. Finally, it is important to note that the majority of federated optimization algorithms remain close to centralized configurations, as they require a central coordinator. In applications where communication with a server becomes a hindrance, decentralized topologies are potential alternatives to federated topologies. The thesis focuses on developing decentralized inference approaches and recognizes the challenge associated with designing such approaches, where global behavior must emerge from local interactions and computations.