Améliorations des outils de détection de malwares par analyse statique grâce à des mécanismes d'intelligence artificielle

Static analysis malware detection tools enhanced by artificial intelligence mechanisms

• Auteur / Autrice : Benjamin Marais
• Direction : Christophe Chesneau
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques
• Date : Soutenance le 18/12/2023
• Etablissement(s) : Normandie
• Ecole(s) doctorale(s) : École doctorale mathématiques, information et ingénierie des systèmes (Caen)
• Partenaire(s) de recherche : Laboratoire : Laboratoire de Mathématiques Nicolas Oresme (Caen ; 2002-....)
• Partenaire(s) de recherche : établissement co-accrédité : Université de Caen Normandie (1971-....)
• Jury : Président / Présidente : Mohamed Didi Biha
• Jury : Examinateurs / Examinatrices : Basarab Mateï, Rémi Badonnel, Tony Quertier, Élisa Fromont, Clément Levrard
• Jury : Rapporteur / Rapporteuse : Basarab Mateï, Rémi Badonnel

Mots clés

Mots clés contrôlés

Apprentissage profond

Apprentissage par renforcement (intelligence artificielle)

Intelligence artificielle

Mots clés libres

Analyse de logiciels malveillants

Malware analysis

Artificial intelligence

Deep learning

Reinforcement Learning

Résumé

Cette thèse porte sur l'analyse de fichiers malveillants. Nous nous intéressons particulièrement à l'utilisation de l'intelligence artificielle pour développer et améliorer des outils d'analyse de malware. Dans un premier temps, nous abordons le problème d'un point de vue défensif en proposant des outils d'analyse, et en élaborant de nouveaux modèles de détection de logiciels malveillants basés sur l'apprentissage supervisé et l'apprentissage profond. Nous proposons aussi une approche offensive, basée sur des méthodes d'apprentissage par renforcement, dans le but de contourner différentes solutions de détection. Cette méthode permet d'étudier leurs failles et leurs faiblesses afin d'évaluer leur efficacité.

This thesis focuses on the analysis of malicious files. We are particularly interested in using artificial intelligence to develop and improve malware analysis tools. Firstly, we propose a defensive approach, by providing analysis tools and by developing new malware detection models based on supervised and deep learning. We also propose an offensive approach, based in reinforcement learning methods, with the purpose of bypassing various detection solutions. This method allows us to examine their vulnerabilities and weaknesses in order to assess their effectiveness.