Optimisation du risque de sécurité pour l'apprentissage sur données de qualité hétérogène

Optimization of security risk for learning on heterogeneous quality data

• Auteur / Autrice : Hassan Chaitou
• Direction : Laurent Pautet, Thomas Robert
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 25/09/2023
• Etablissement(s) : Institut polytechnique de Paris
• Ecole(s) doctorale(s) : École doctorale de l'Institut polytechnique de Paris
• Partenaire(s) de recherche : Laboratoire : Laboratoire Traitement et communication de l'information (Paris ; 2003-....)
• Partenaire(s) de recherche : Etablissement opérateur d'inscription : Télécom Paris (Palaiseau, Essonne ; 1878-....)
• Jury : Président / Présidente : Isabelle Chrisment
• Jury : Examinateurs / Examinatrices : Isabelle Chrisment, Yvon Kermarrec, Mohamed Kaâniche, Véronique Legrand
• Jury : Rapporteur / Rapporteuse : Yvon Kermarrec, Mohamed Kaâniche

Mots clés

Mots clés contrôlés

Ordinateurs -- Accès -- Contrôle

Réseaux d'ordinateurs -- Mesures de sûreté

Exploration de données

Apprentissage automatique

Mots clés libres

Apprentissage machine adversarial

GAN

Système de détection d’intrusion

Analyse de sensibilité

Adversarial machine learning

GAN

Intrusion Detection System

Sensitivity analysis

Résumé

Les systèmes de détection d'intrusion (IDS) sont des composants essentiels dans l'infrastructure de sécurité des réseaux. Pour faire face aux problèmes de scalabilité des IDS utilisant des règles de détection artisanales, l'apprentissage automatique est utilisé pour concevoir des IDS formés sur des ensembles de données. Cependant, ils sont de plus en plus mis au défi par des méta-attaques, appelées attaques d'évasion adverses, qui modifient les attaques existantes pour améliorer leurs capacités d'évasion. Par exemple, ces approches utilisent les réseaux antagonistes génératifs (GAN) pour automatiser la modification. Différentes approches ont été proposées pour rendre ces IDS robustes : les solutions basées sur l'entraînement antagoniste se sont avérées assez réussies.Néanmoins, l'évasion des IDS demeure pertinente car de nombreuses contributions montrent également que les attaques d'évasion adverses restent efficaces malgré l'utilisation de l'entraînement antagoniste sur les IDS. Dans cette thèse, nous étudions cette situation et présentons des contributions qui améliorent la compréhension de l'une de ses causes profondes et des directives pour l'atténuer. La première étape est de mieux comprendre les sources possibles de variabilité dans les performances des IDS ou des attaques d'évasion. Trois sources potentielles sont considérées : les problèmes d'évaluation méthodologique, la course inhérente conduisant à dépenser davantage de ressources informatiques en attaque ou en défense, ainsi que les problèmes d'entraînement et d'acquisition de données lors de l'entraînement des IDS.La première contribution consiste en des directives pour mener des évaluations robustes des IDS au-delà de la simple recommandation pour une analyse empirique. Ces directives couvrent à la fois la conception d'une seule expérience mais aussi les campagnes d'analyse de sensibilité. La conséquence de l'application de ces directives est d'obtenir des résultats plus stables lors du changement de paramètres liés aux ressources d'entraînement. L'élimination des artefacts dus à des procédures d'évaluation inadéquates nous amène à enquêter sur les raisons pour lesquelles certaines parties sélectionnées de l'ensemble de données considérées tendent à n'être presque pas affectées par les attaques adverses.La deuxième contribution est la formalisation des milieux adverses en proposant une autre façon de caractériser les échantillons contradictoires. Cette formalisation nous permet de revisiter un critère de qualité des données, à savoir l'absence d'échantillons contradictoires, qui porte habituellement sur les échantillons non contradictoires, et de l'adapter aux ensembles de données d'échantillons contradictoires. À partir de cette démarche, quatre situations de menace ont été identifiées avec des impacts qualitatifs clairs soit sur l'entraînement d'un IDS robuste, soit sur la capacité de l'attaquant à trouver des attaques d'évasion plus réussies.Enfin, nous proposons des contre-mesures aux menaces mentionnées ci-dessus et effectuons ensuite une évaluation quantitative empirique de ces menaces et des contre-mesures proposées. Les résultats de ces expérimentations confirment l'importance de vérifier et d'atténuer de manière appropriée les menaces liées à un ensemble contradictoire étendu non vide. En effet, il s'agit d'une vulnérabilité non triviale qui peut être vérifiée et atténuée avant l'entraînement des IDS.

Intrusion Detection Systems (IDSs) serve as critical components in network security infrastructure.In order to cope with the scalability issues of IDSs using handcrafted detection rules, machine learning is used to design IDSs trained on datasets.Yet, they are increasingly challenged by meta-attacks, called adversarial evasion attacks, that alter existing attacks to improve their evasion capabilities.These approaches, for instance, employ Generative Adversarial Networks (GANs) to automate the alteration process.Several strategies have been proposed to enhance the robustness of IDSs against such attacks, with significant success in strategies based on adversarial training.However, IDSs evasion remains relevant as many contributions also show that adversarial evasion attacks are still efficient despite using adversarial training on IDSs. In this thesis, we investigate this situation and present contributions that improve the understanding of one of its root causes and guidelines to mitigate it.The first step is to better understand the possible sources of variability in IDS or evasion attack performances. Three potential sources are considered: methodological assessment issues, the inherent race to spend more computational resources in attack or defense, or issues in training and dataset acquisition when training IDSs.The first contribution consists of guidelines to conduct robust IDSs assessments beyond the simple recommendation for empirical analysis. These guidelines cover both single experiment design but also sensitivity analysis campaigns.The consequence of applying such guidelines is to obtain more stable results when changing training resource related parameters. Removing artifacts due to inadequate assessment procedures leads us to investigate why some selected parts of the considered dataset tend to be almost not affected by adversarial attacks.The second contribution is the formalization of adversarial neighborhoods: an alternative way to characterize adversarial samples. This formalization allows us to adapt and evaluate data quality criteria used for non-adversarial samples, such as the absence of contradictory samples, and apply similar criteria to adversarial sample datasets. From this concept, four threat situations have been identified with clear qualitative impacts either on the training of a robust IDS or the attacker's ability to find more successful evasion attacks.Finally, we propose countermeasures to the identified threats and then perform an empirical quantitative assessment of both threats and countermeasures.The findings of these experiments highlight the need to identify and mitigate threats associated with a non-empty extended contradictory set. Indeed, this crucial vulnerability should be identified and addressed prior to IDS training.