Un système de surveillance et détection de menaces utilisant le traitement de flux comme une fonction virtuelle pour le Big Data

A monitoring and threat detection system using stream processing as a virtual function for Big Data

• Auteur / Autrice : Martin Esteban Andreoni Lopez
• Direction : Guy Pujolle, Otto Carlos Muniz Bandeira Duarte
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 06/06/2018
• Etablissement(s) : Sorbonne université en cotutelle avec Universidade federal do Rio de Janeiro
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris (1992-...)
• Partenaire(s) de recherche : Laboratoire : LIP6 (1997-....)
• Jury : Examinateurs / Examinatrices : Luís Henrique Maciel Kosmalski Costa, Daniel Macêdo Batista, Thi-Mai-Trang Nguyen
• Jury : Rapporteur / Rapporteuse : Mauro Sergio Pereira Fonseca, Khaldoun Al Agha

Mots clés

Mots clés contrôlés

Réseaux d'ordinateurs -- Mesures de sûreté

Données massives

Systèmes de détection d'intrusion (informatique)

Mots clés libres

Cybersécurité

Gros volumes de données

Apprentissage automatique

Données de sécurité

Sécurité de réseau

Fonction de réseau virtuel

Machine learning

Virtual network function

Network security

Résumé

La détection tardive des menaces à la sécurité entraîne une augmentation significative du risque de dommages irréparables, invalidant toute tentative de défense. En conséquence, la détection rapide des menaces en temps réel est obligatoire pour l'administration de la sécurité. De plus, la fonction de virtualisation de la fonction réseau (NFV) offre de nouvelles opportunités pour des solutions de sécurité efficaces et à faible coût. Nous proposons un système de détection de menaces rapide et efficace basé sur des algorithmes de traitement de flux et d'apprentissage automatique. Les principales contributions de ce travail sont : i) un nouveau système de détection des menaces de surveillance basé sur le traitement en continu, ii) deux ensembles de données, d'abord un ensemble de données de sécurité synthétiques contenant à la fois du trafic légitime et malveillant, et le deuxième, une semaine de trafic réel d'un opérateur de télécommunications à Rio de Janeiro, au Brésil, iii) un algorithme de pré-traitement de données, un algorithme de normalisation et un algorithme de sélection de caractéristiques rapides basé sur la corrélation entre des variables, iv) une fonction de réseau virtualisé dans une plate-forme Open Source pour fournir un service de détection des menaces en temps réel, v) placement quasi-optimal des capteurs grâce à une heuristique proposée pour positionner stratégiquement les capteurs dans l'infrastructure du réseau, avec un nombre minimal de capteurs, et enfin vi) un algorithme glouton qui alloue à la demande une séquence de fonctions de réseau virtuel.

The late detection of security threats causes a significant increase in the risk of irreparable damages, disabling any defense attempt. As a consequence, fast real-time threat detection is mandatory for security administration. In addition, Network Function Virtualization (NFV) provides new opportunities for efficient and low-cost security solutions. We propose a fast and efficient threat detection system based on stream processing and machine learning algorithms. The main contributions of this work are i) a novel monitoring threat detection system based on streaming processing, ii) two datasets, first a dataset of synthetic security data containing both legitimate and malicious traffic, and the second, a week of real traffic of a telecommunications operator in Rio de Janeiro, Brazil, iii) a data pre-processing algorithm, a normalizing algorithm and an algorithm for fast feature selection based on the correlation between variables, iv) a virtualized network function in an Open source Platform for providing a real-time threat detection service, v) near-optimal placement of sensors through a proposed heuristic for strategically positioning sensors in the network infrastructure, with a minimum number of sensors, and finally vi) a greedy algorithm that allocates on demand a sequence of virtual network functions.