Apprentissage fédéré personnalisé pour la reconnaissance de l'activité humaine à partir de capteurs dans des environnements pervasifs hétérogènes

Personalized federated learning for sensor-based human activity recognition in pervasive heterogeneous environments

• Auteur / Autrice : Sannara Ek
• Direction : Philippe Lalanda, François Portet
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 26/11/2024
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale Mathématiques, sciences et technologies de l'information, informatique (Grenoble, Isère, France ; 1995-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique de Grenoble (Isère, France ; 2007-....)
• Partenaire(s) de recherche : Equipe de recherche : Groupe d'étude en traduction automatique - Traitement automatisé des langues et de la parole (Grenoble ; 2007-....)
• Jury : Président / Présidente : Vania Marangozova
• Jury : Examinateurs / Examinatrices : Giovanni Neglia, Keiichi Yasumoto
• Jury : Rapporteurs / Rapporteuses : Jiannong Cao, Cecilia Mascolo

Mots clés

Mots clés contrôlés

Informatique sensible au contexte

Apprentissage profond

Informatique omniprésente

Mots clés libres

Architecture distribuée

Informatique pervasive

Gestion de ressources

Federated Learning

Distributed Architecture

Pervasive Computing

Résumé

Les avancées récentes dans la technologie des capteurs et l'informatique mobile ont considérablement amélioré les applications de l'informatique omniprésente, intégrant des dispositifs intelligents dans nos environnements pour offrir une gamme variée de services orientés vers l'utilisateur. Ces services sont renforcés par les modèles d'apprentissage automatique (ML), de plus en plus intégrés à ces dispositifs pour exploiter leur puissance de calcul et les données abondantes disponibles. Cependant, adapter le ML à un paradigme centré sur l'utilisateur — où la priorité est que les modèles locaux soient bien personnalisés et généralisés tout en garantissant la confidentialité des données — présente des défis. L'apprentissage fédéré (FL), un cadre client-serveur de méta-apprentissage, offre une solution prometteuse en évitant la nécessité de communiquer les données des utilisateurs. Traditionnellement centré sur le serveur, optimisant un modèle global unique et généralisé, le FL tire parti des capacités de calcul des dispositifs locaux et de leurs données pour l'entraînement. Cependant, pour répondre pleinement aux besoins de l'informatique omniprésente, un passage vers un paradigme centré sur le client est essentiel.Cette thèse explore l'application et les défis du FL centré sur le client dans le domaine basé sur les capteurs de la reconnaissance d'activités humaines (HAR), qui consiste à prédire les mouvements physiques à partir de dispositifs mobiles tels que les smartphones et les montres intelligentes. Nous explorons les avantages et les limitations de cette approche en concevant plusieurs nouvelles évaluations qui mettent en évidence les effets néfastes de l'hétérogénéité entre les dispositifs des clients. De plus, nous proposons des contributions nécessaires pour atténuer ces effets, visant à améliorer la performance globale et la fiabilité du FL centré sur le client dans les applications HAR.Pour répondre à la limitation de l'hétérogénéité, nous présentons une technique d'agrégation FL novatrice qui ajuste dynamiquement l'architecture du modèle pour s'adapter aux caractéristiques uniques de chaque client. Ensuite, nous adoptons des architectures HAR légères basées sur des transformers, robustes aux environnements changeants et aux habitudes des utilisateurs. De plus, nous développons un pipeline de pré-entraînement novateur utilisant plusieurs ensembles de données publiques pour réduire les besoins en données pour le réglage local. Par la suite, nous explorons trois catégories de techniques d'apprentissage auto-supervisé pour améliorer encore la robustesse des modèles clients en exploitant des données non étiquetées. Enfin, nous introduisons un mécanisme de correspondance d'embeddings à prototypes via un plan de transport optimal pour régulariser les clients au sein du cadre FL, en renforçant la similarité des poids et en promouvant la cohérence des modèles.

Recent advancements in sensor technology and mobile computing have significantly enhanced pervasive computing applications, integrating smart devices into our environments to offer diverse user-oriented services. These services are further augmented by Machine Learning (ML) models, that are increasingly embedded within these devices to leverage their computational power and abundant data. However, adapting ML for a user-centric paradigm— where the priority must be that local models be well personalized and generalized while ensuring data privacy —presents challenges. Federated Learning (FL), a meta-learning client-server framework, provides a promising solution by avoiding the need to communicate user data. Traditionally server-centric, optimizing a single generalized global model, FL leverages local device's computing abilities and their data for training. Although, to fully meet pervasive computing needs, a shift towards a client-centric paradigm is essential.This thesis investigates the application and challenges of client-centric FL in the sensor-based domain of Human Activity Recognition (HAR), which involves predicting physical movements from mobile devices like smartphones and smartwatches. We explore the benefits and limitations of this approach by devising several new evaluation that highlight the detrimental effects of heterogeneity among clients' devices. Additionally, we propose necessary contributions to mitigate these effects, aiming to enhance the overall performance and reliability of client-centric FL in HAR applications.To address the heterogeneity limitation, we present a novel FL aggregation technique that dynamically adjusts the model's architecture to suit the unique traits of individual clients. We then adopt lightweight transformer-based HAR architectures that are robust to changing environments and user habits. Additionally, we develop a novel pre-training pipeline using several public datasets to reduce the data requirements for local fine-tuning. Afterwards, we explores three categories of self-supervised learning techniques to further enhance the robustness of client models by utilizing unlabeled data. Finally, we introduce an embedding-to-prototype matching mechanism via an optimal transport plan to regularize clients within the FL framework, enforcing weight similarity and promoting model consistency.