Apprentissage et extraction automatique de comportements malicieux

Automatic learning and extraction of malicious behaviors

• Auteur / Autrice : Khanh Huu The Dam
• Direction : Tayssir Touili
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 03/07/2018
• Etablissement(s) : Sorbonne Paris Cité
• Ecole(s) doctorale(s) : École doctorale Sciences mathématiques de Paris centre (Paris ; 2000-....)
• Partenaire(s) de recherche : établissement de préparation : Université Paris Diderot - Paris 7 (1970-2019)
• Partenaire(s) de recherche : Laboratoire : Laboratoire informatique de Paris-Nord (Villetaneuse, Seine-Saint-Denis ; 2001-....)
• Jury : Président / Présidente : Jean-Yves Marion
• Jury : Examinateurs / Examinatrices : Jean-Yves Marion, Arun Lakhotia, Marc Dacier, Mihaela Sighireanu, Jean-Louis Lanet
• Jury : Rapporteur / Rapporteuse : Arun Lakhotia, Marc Dacier

Mots clés

Mots clés contrôlés

Apprentissage automatique

Systèmes informatiques -- Mesures de sûreté

Protection de l'information (informatique)

Virus informatiques

Mots clés libres

Détection de malware

Information retrieval

API call graph

Malware detection

Machine learning

Résumé

Cette thèse s'attaque au problème de détection de malware. Les techniques existantes nécessitent un effort énorme d'analyse manuelle du code malicieux pour découvrir, extraire et mettre en évidence les comportement malicieux. Pour éviter cette tâche fastidieuse, nous proposons dans cette thèse deux approches: (1) appliquer des techniques de Information Retrieval pour extraire de manière complètement automatique les comportements malicieux à partir d'un ensemble de malwares et de programmes bénins, et (2) appliquer des techniques d'apprentissage pour apprendre de manière automatique les malwares. Nous avons implémenté nos techniques dans 2 outils de détection de malware. Les résultats que nous avons obtenus sont très encourageants. En particulier, nos outils ont permis de détecter des malwares que des antivirus connus, tels que Panda, Avira, Kaspersky, Avast, Qihoo360, McAfee, AVG, BitDefender, ESET-NOD32, F-Secure et Symantec, n'ont pas pu détecté.

Malware detection is nowadays a big challenge. The existing techniques for malware detection require a huge effort of engineering to manually extract the malicious behaviors. To avoid this tedious task of manually discovering malicious behaviors, we propose in this thesis two approaches: (1) Apply Information Retrieval techniques to automatically discover malicious behaviors, and (2) Apply machine learning to automatically learn malwares. We use API call graphs to represent programs. API call graphs are graphs whose nodes are API functions and whose edges represent the order of execution of the different calls to the API functions (\ie functions supported by the operating system). To automatically learn malwares, we apply well-known learning techniques based on Random Walk Graph Kernels (combined with Support Vector Machines). We achieve a high detection rate with only few false alarms (97% for detection rate with 0.73% of false alarms). As for the automatic extraction of malicious behaviors, we reduce this problem to the problem of retrieving from the benign and malicious API call graphs the set of subgraphs that are relevant for malicious behaviors. We solve this issue by applying and adapting well-known efficient Information Retrieval techniques based on the TFIDF scheme. We use our automatically extracted malicious behavior specification for malware detection using a kind of product between graphs. We obtained interesting experimental results, as we get 96% of detection rate. Using our two approaches, we were able to detect several malwares that well-known and widely used antiviruses such as Panda, Avira, Kaspersky, Avast, Qihoo360, McAfee, AVG, BitDefender, ESET-NOD32, F-Secure and Symantec could not detect