Evaluation of intrusion detection systems

Évaluation des systèmes de détection d'intrusion

• Auteur / Autrice : Mohammed El-Sayed Gadelrab Gadelrab
• Direction : Yves Deswarte, Anas Abou El Kalam
• Type : Thèse de doctorat
• Discipline(s) : Systèmes informatiques critiques
• Date : Soutenance en 2008
• Etablissement(s) : Toulouse 3

Mots clés

Mots clés contrôlés

Virus informatiques

Ordinateurs -- Accès -- Contrôle

Réseaux d'ordinateurs -- Mesures de sûreté

Mots clés libres

Sécurité

Système de détection d'intrusions (SDI)

Évaluation

Test

Attaque

Maliciel

Résumé

Cette thèse vise à contribuer à l'amélioration des méthodes d'évaluation des systèmes de détection d'intrusions (en anglais, Intrusion Detection Systems ou IDS). Ce travail est motivé par deux problèmes actuels : tout d'abord, l'augmentation du nombre et de la complexité des attaques que l'on observe aujourd'hui nécessite de faire évoluer les IDS pour leur permettre de les détecter. Deuxièmement, les IDS actuels génèrent de trop fréquentes fausses alertes, ce qui les rend inefficaces, voir inutiles. Des moyens de test et d'évaluation sont donc nécessaires pour déterminer la qualité de détection des IDS et de leurs algorithmes de détection. Malheureusement, aucune méthode d'évaluation satisfaisante n'existe de nos jours. En effet, les méthodes employées jusqu'ici présentent trois défauts majeurs : 1) une absence de méthodologie rigoureuse d'évaluation, 2) l'utilisation de données de test non représentatives, et 3) l'utilisation de métriques incorrectes. Partant de ce constat, nous proposons une démarche rigoureuse couvrant l'ensemble des étapes de l'évaluation des IDS. Premièrement, nous proposons une méthodologie d'évaluation qui permet d'organiser l'ensemble du processus d'évaluation. Deuxièmement, afin d'obtenir des données de test représentatives, nous avons défini une classification des types d'attaques en fonction des moyens de détection utilisés par les IDS. Cela permet non seulement de choisir les attaques à inclure dans les données de test, mais aussi d'analyser les résultats de l'évaluation selon les types d'attaques plutôt que pour chaque attaque individuellement. Troisièmement, nous avons analysé un grand nombre d'attaques réelles et de programmes malveillants (communément appelés maliciels) connus, tels que les virus et les vers. Grâce à cette analyse, nous avons pu construire un modèle générique de processus d'attaques qui met en évidence la dynamique des activités d'attaque. Ce modèle permet de générer un nombre important de scénarios d'attaques, qui soient le plus possible représentatifs et variés. Pour montrer la faisabilité de notre approche, nous avons appliqué expérimentalement les étapes de notre démarche à deux systèmes différents de détection d'intrusions. . .

This thesis contributes to the improvement of intrusion detection system (IDS) evaluation. The work is motivated by two problems. First, the observed increase in the number and the complexity of attacks requires that IDSes evolve to stay capable of detecting new attack variations efficiently. Second, the large number of false alarms that are generated by current IDSes renders them ineffective or even useless. Test and evaluation mechanisms are necessary to determine the quality of detection of IDSes or of their detection algorithms. Unfortunately, there is currently no IDS evaluation method that would be unbiased and scientifically rigorous. During our study, we have noticed that current IDS evaluations suffer from three major weaknesses: 1) the lack of a rigorous methodology; 2) the use of non-representative test datasets; and 3) the use of incorrect metrics. From this perspective, we have introduced a rigorous approach covering most aspects of IDS evaluation. In the first place, we propose an evaluation methodology that allows carrying out the evaluation process in a systematic way. Secondly, in order to create representative test datasets, we have characterized attacks by classifying attack activities with respect to IDS-relevant manifestations or features. This allows not only to select attacks that will be included in the evaluation dataset but also to analyze the evaluation result with respect to attack classes rather than individual attack instances. Third, we have analyzed a large number of attack incidents and malware samples, such as viruses and worms. Thanks to this analysis, we built a model for the attack process that exhibits the dynamics of attack activities. This model allows us to generate a large number of realistic and diverse attack scenarios. The proposed methods have been experimented on two very different IDSes to show how general is our approach. The results show that the proposed approach allows overcoming the two main weaknesses of existing evaluations, i. E. , the lack of a rigorous methodology and the use of non-representative datasets. . .