Vers un Apprentissage fédéré robuste et préservant la confidentialité

Robust and Privacy-Preserving Federated Learning

• Auteur / Autrice : Fatima Elhattab
• Direction : Sara Bouchenak
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 27/10/2023
• Etablissement(s) : Lyon, INSA
• Ecole(s) doctorale(s) : École doctorale en Informatique et Mathématiques de Lyon (Lyon ; 2009-....)
• Partenaire(s) de recherche : Membre de : Université de Lyon (2015-....)
• Partenaire(s) de recherche : Laboratoire : LIRIS - Laboratoire d'Informatique en Image et Systèmes d'information (Rhône ; 2003-....) - Laboratoire d'InfoRmatique en Image et Systèmes d'information / LIRIS
• Partenaire(s) de recherche : Equipe de recherche : DRIM - Distribution, Recherche d'Information et Mobilité
• Jury : Président / Présidente : Véronique Eglin
• Jury : Examinateurs / Examinatrices : Sara Bouchenak, Véronique Eglin, Romain Rouvoy, François Taïani, Aurélien Bellet
• Jury : Rapporteurs / Rapporteuses : Romain Rouvoy, François Taïani

Mots clés

Mots clés contrôlés

Vie privée

Protection de l'information (informatique)

Apprentissage automatique

Mots clés libres

Informatique

Préservation de la vie privée

Robustesse

Apprentissage Automatique

Apprentissage fédéré

Attaques par empoisonnement

Confidentialité

Attaque d’inférence

Computer science

Privacy Preservation

Robustness

Machine Learning

Federated Learning

Poisoning Attacks

Confidentiality

Inference attacks

Résumé

Dans le monde numérique en perpétuelle mutation d’aujourd’hui, l’apprentissage automatique est désormais une puissance essentielle et révolutionnaire, comme le démontrent de multiples recherches. Son impact profond s’étend à travers diverses industries, offrant des solutions et des innovations révolutionnaires qui ont remodelé la manière dont nous interagissons avec la technologie et prenons des décisions. Des systèmes de recommandation améliorant la diffusion de contenu sur les plateformes à la présence d’assistants personnels virtuels comme Siri et Alexa, capables de comprendre et de répondre à des commandes en langage naturel. Dans des domaines tels que la santé, il contribue au diagnostic des maladies, tandis que dans la finance, il renforce la détection de la fraude et l’évaluation des risques. Cette ubiquité de l’apprentissage automatique signifie non seulement une tendance technologique, mais aussi un changement fondamental dans les approches de résolution de problèmes et de prise de décisions. Cependant, cette vague d’innovation axée sur les données a soulevé une préoccupation primordiale : la protection de la vie privée des individus et de leurs données personnelles. Le Règlement général sur la protection des données (RGPD) illustre l’importance accrue de la protection des données à l’ère moderne. L’apprentissage fédéré représente un paradigme prometteur en apprentissage automatique, permettant la formation collaborative de modèles entre des appareils décentralisés. Cependant, il présente une vulnérabilité à diverses attaques. Cette recherche est divisée en deux axes principaux, chacun abordant des défis cruciaux en matière de sécurité et de confidentialité dans le contexte de l’apprentissage fédéré. Le premier axe se concentre sur la lutte contre les attaques d’empoisonnement pour un apprentissage fédéré robuste, où les adversaires cherchent à introduire des tâches nuisibles dans les modèles fédérés en plus de leurs tâches principales. Pour détecter ces attaques, on introduit ARMOR, un nouveau système de détection d’attaque basé sur GAN qui analyse les informations intégrées dans les mises à jour du modèle. Le deuxième axe concerne la lutte contre les attaques d’inférence pour l’apprentissage fédéré préservant la vie privée, en particulier les attaques d’inférence d’appartenance. Pour renforcer la confidentialité en apprentissage fédéré, deux approches novatrices sont introduites : PASTEL, qui améliore la résilience des systèmes d’apprentissage fédéré contre les MIAs en minimisant la différence de généralisation interne, et DINAR, une méthode d’apprentissage fédéré préservant la confidentialité à grain fin qui obscurcit les couches sensibles à la confidentialité et utilise une descente de gradient adaptative pour améliorer l’utilité du modèle. Ces objectifs de recherche visent collectivement à relever les défis en matière de sécurité et de confidentialité et à faire progresser le domaine de l'apprentissage fédéré.

In today’s rapidly evolving digital landscape, machine learning has become an in- dispensable and transformative force, as substantiated by extensive research studies. Its profound impact spans across diverse industries, offering ground breaking solutions and innovations that have reshaped the way we interact with technology and make decisions. From recommendation systems enhancing content delivery on platforms to the presence of virtual personal assistants like Siri and Alexa, capable of understanding and responding to natural language commands, the applications of machine learning are both diverse and impactful. In domains like healthcare, it aids in disease diagnosis, while in finance, it fortifies fraud detection and risk assessment. This ubiquity of machine learning signifies not just a technological trend but a fundamental shift in problem-solving and decision-making approaches. However, this surge in data-driven innovation has raised a paramount concern - the protection of individuals’ privacy and personal data. The General Data Protection Regulation (GDPR) exemplifies the heightened importance of data privacy in our modern era. As machine learning becomes increasingly intertwined with our daily lives, achieving a delicate balance between technological advancements and safeguarding individual privacy has become imperative. Moreover, addressing these concerns has given rise to the concept of privacy-preserving machine learning, with federated learning emerging as a pivotal technique, redefining collaborative machine learning by enabling multiple parties to build a shared model without sharing their raw data. Federated Learning represents a promising paradigm in Machine Learning, enabling collaborative model training among decentralized devices in edge computing systems. However, it exhibits susceptibility to various attacks. This research is divided into two main thrusts, each addressing critical security and privacy challenges in the context of Federated Learning. The first thrust focuses on countering poisoning attacks for robust Federated Learning, where adversaries aim to introduce harmful tasks into federated models alongside their main tasks. To detect these attacks, the research introduces ARMOR, a novel GAN-based attack detection system that analyzes the information embedded in model updates. The second thrust deals with countering inference attacks for privacy-preserving Federated Learning, specifically membership inference attacks. To bolster privacy in FL, two novel approaches are introduced: PASTEL, which enhances FL systems’ resilience against MIAs by minimizing the internal generalization gap, and DINAR, a fine-grained privacy-preserving FL method that obfuscates privacy-sensitive layers and employs adaptive gradient descent to enhance model utility. These research objectives collectively aim to address security and privacy challenges and advance the field of federated learning.