Apprentissage à partir de données et d’apprenants

Learning from Data and Learners

• Auteur / Autrice : Yohan Foucade
• Direction : Younès Bennani
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 10/06/2022
• Etablissement(s) : Paris 13
• Ecole(s) doctorale(s) : École doctorale Galilée (Villetaneuse, Seine-Saint-Denis)
• Partenaire(s) de recherche : Laboratoire : Laboratoire informatique de Paris-Nord (Villetaneuse, Seine-Saint-Denis ; 2001-....)
• Jury : Examinateurs / Examinatrices : Yann Guermeur, Mathilde Mougeot, Camille Couprie, Basarab Mateï
• Jury : Rapporteur / Rapporteuse : Yann Guermeur, Mathilde Mougeot, Camille Couprie

Mots clés

Mots clés contrôlés

Réseaux d'ordinateurs -- Mesures de sûreté

Serveurs (informatique)

Protection de l'information (informatique)

Systèmes informatiques -- Mesures de sûreté

Mots clés libres

Apprentissage collaboratif

Apprentissage distribué

Sécurité des données

Collaborative learning

Distributed data-Mining

Data privacy

Résumé

Cette thèse porte sur l'apprentissage collaboratif. Ce paradigme d'apprentissage est une des nombreuses méthodes ayant vu le jour au cours de ces dernières années afin de tenter d'exploiter le plus efficacement possible le volume croissant de données générées et stockées de par le monde. Parmi ces méthodes, on trouve par exemple l'apprentissage fédéré et le clustering ensembliste. Ces différentes approches ont pour point commun de permettre un calcul distribué et préservant la confidentialité des données traitées. Leur objectif est d'obtenir un modèle entrainé sur des données dispersées sur différents nœuds d'un réseau. Ce qui est fait soit en entrainant directement un modèle partagé par les différents sites, soit en cherchant un consensus entre plusieurs apprenants entraînés séparément. Ce dernier point constitue la principale différence avec l'apprentissage collaboratif. En effet, dans ce paradigme, on ne cherche pas à réaliser un consensus. L'objectif est que chaque apprenant bénéficie des résultats obtenus par ses homologues tout en préservant la confidentialité des données. Un des enjeux du domaine est le choix des sites distants avec lesquels collaborer et de l'intensité de la collaboration. Sans précaution particulière, il est tout à fait possible que les performances locales soient détériorées suite à la collaboration. Nous proposons l'utilisation de l'entropie comme mesure de l'incertitude quant aux prédictions des différents modèles afin de pondérer, pour chaque modèle, l'information qu'il reçoit de ses homologues. Nous proposons une implémentation dans le cadre de l'apprentissage supervisé en utilisant des arbres de décision comme modèle de base. Un autre verrou scientifique réside dans les difficultés liées à l'apprentissage non-supervisé. Outre le fait qu'il n'existe pas de mesure objective de la performance, le paradigme d'apprentissage collaboratif souffre du fait qu'il n'y ait pas de correspondance évidente entre les classes formées par les différents modèles. Nous proposons une architecture de clustering collaboratif permettant à tous les modèles de s'améliorer. Nous proposons aussi une analyse détaillée de ce mode de collaboration en étudiant l'effet, au niveau individuel, de l'échange d'informations entre les différents apprenants. Les approches proposées dans les deux premiers chapitres sont essentiellement heuristiques et ont été implémentées dans le but de répondre aux verrous scientifiques identifiés au début de ces travaux. Nous en fournissons néanmoins une analyse théorique portant sur la complexité en espace, sur certaines conditions suffisantes pour que l'algorithme termine, et sur les bornes de généralisation

This thesis focuses on collaborative learning. This machine learning paradigm is one of the many methods that have emerged in recent years in an attempt to efficiently mine the growing volume of data generated and stored around the world. Federated learning and ensemble clustering are, e.g., belong to these numerous methods. These different approaches have in common that they allow distributed computation and preserve data privacy. Their purpose is to obtain a model trained on data scattered across different nodes of a network. This is done either by directly training a model that is shared by the data sites, or by seeking a consensus between several learners that are trained separately. This last point is the main difference with collaborative learning. Indeed, in this paradigm, we do not try to reach a consensus. The objective is that each learner benefits from the results obtained by his counterparts while preserving data privacy. One of the issues in this area is the choice of remote sites to collaborate with and the intensity of the collaboration. Without special care, it is quite possible that local performance will be degraded as a result of the collaboration. We propose the use of entropy as a measure of uncertainty in the predictions of different models in order to weight the sources of information. We also propose a detailed analysis An experiment was carried out in the framework of supervised learning using decision trees as an underlying model. Another scientific obstacle lies in the difficulties associated with unsupervised learning. In addition to the fact that there is no objective measure of performance, the collaborative learning paradigm suffers from the fact that there is no obvious correspondence between the classes formed by the different models. We propose a collaborative clustering architecture allowing all models to improve. We also propose a detailed analysis of this mode of collaboration by studying the effect, at the individual level, of the exchange of information between the different learners. The approaches proposed in the first two chapters are essentially heuristic and have been implemented in order to address the scientific obstacles identified at the beginning of this work. Nevertheless, we provide a theoretical analysis on the space complexity, some sufficient conditions for the algorithm to finish, and the generalization bounds