Développement et évaluation d'obfuscations de protocoles basées sur la spécification

Development and evaluation of protocol obsfucations based on the specification

• Auteur / Autrice : Julien Duchene
• Direction : Vincent Nicomette, Eric Alata, Colas Le Guernic
• Type : Thèse de doctorat
• Discipline(s) : Réseaux, Télécoms, Systèmes et Architecture
• Date : Soutenance le 20/12/2018
• Etablissement(s) : Toulouse, INSA
• Ecole(s) doctorale(s) : École Doctorale Mathématiques, Informatique et Télécommunications (Toulouse)
• Partenaire(s) de recherche : Laboratoire : LAAS - Laboratoire d'Analyse et d'Architecture des Systèmes - Laboratoire d'analyse et d'architecture des systèmes / LAAS
• Jury : Président / Présidente : Mohamed Kaâniche
• Jury : Examinateurs / Examinatrices : Sarah Zennou, Georges Bossert
• Jury : Rapporteurs / Rapporteuses : Marie-Laure Potet, Jean-Yves Marion

Mots clés

Mots clés contrôlés

Offuscation (informatique)

Protocoles de réseaux d'ordinateurs

Systèmes informatiques -- Mesures de sûreté

Mots clés libres

Sécurité

Protocoles

Rétro-conception

Obfuscations

Spécification de protocoles

Security

Protocols

Reverse-Engineering

Protocol specification

Résumé

Il existe de plus en plus de protocoles de communications différents. La spécification de beaucoup d’entre eux est disponible. Cependant, quand il s’agit de moyens de communication propriétaires, cette spécification est gardée secrète : un attaquant qui aurait accès à cette spécification pourrait compromettre un système utilisant ce protocole. Même s’il n’a pas accès à cette spécification, l’attaquant peut l’obtenir par rétro-conception. Ainsi, il est intéressant de créer des protocoles qui sont difficiles à rétro-concevoir. Dans cette thèse, nous proposons une nouvelle approche spécifiquement développée pour rendre complexe la rétro-conception de protocole. Nous appliquons pour cela des obfuscations au format du message et ceci de façon automatique à partir de la spécification du protocole. Pour cela, nous avons dans un premier temps étudié plus de 30 contributions différentes concernant des outils de rétro-conception de protocole et en avons tiré des conclusions suivantes : 1) les outils de rétro-conception de protocole pratiquent l’inférence de modèles réguliers ; 2) ils supposent que le parsing d’un message s’effectue de gauche à droite ; 3) ils délimitent le message en champs d’après des délimiteurs bien connus ou via des algorithmes ad-hoc ; 4) ils regroupent les messages d’après des mesures de similarité sur des patterns. Ainsi, pour créer un protocole difficile à rétro-concevoir, une solution est de s’assurer que le protocole ne respecte pas ces conditions. Dans un second temps, nous avons donc proposé un modèle de format de messages qui permet l’application d’obfuscations. Nous avons défini des obfuscations atomiques qui peuvent être composées. Chacune de ces obfuscations cible une ou plusieurs des hypothèses des outils de rétro-conception. La composition des obfuscations assure l’efficacité de notre solution et rend la rétro-conception de protocole complexe. Ce modèle est utilisé pour générer automatiquement le code du parseur, du sérialiseur et des accesseurs. Cette solution est implémentée dans un prototype nommé ProtoObf grâce auquel nous avons pu évalué les performances des obfuscations. Les résultats montrent une nette augmentation de la complexité de la rétro-conception avec le nombre de compositions d’obfuscation tandis que les coûts induits (particulièrement la taille du buffer sérialisé) restent bas.

There are more and more protocols. Many of them have their specification available for interoperability purpose for instance. However, when it comes to intellectual property, this specification is kept secret. Attackers might use a wrongly implemented protocol to compromise a system, if he has access to the specification, it’s attack would be far more efficient. Even if he does not have access to the specification, he can reverse-engine it. Thus, create protocols hard to reverse is interesting. In this thesis, we develop a novel approach of protocol protections to make protocol reverse engineering more complex. We apply some obfuscations on protocol message format, furthermore, we do it automatically from the original protocol specification. Firstly, we have analyzed more than 30 different contributions of protocol reverse engineering tools. We retrieved the following elements : 1) Protocol reverse engineering tools try to infer regular models ; 2) They suppose that the parsing is done from left to right ; 3) They delimit fields based on well-known delimiters or with ad-hoc techniques ; 4) They cluster messages based on pattern similarity measures. Thus, to make protocol reverse harder, one can create protocols which does not respect theses statements. Secondly, we have proposed a model of message format on which obfuscations can be applied. With this model, we also provide some atomic obfuscations which can be composed. Each obfuscation target one or more protocol reverse engineering hypothesis. Obfuscation composition ensures effectiveness of our solution and makes protocol reverse-engineering more complex. This model is used to automatically generate code for parser, serializer and accessors. This solution is implemented into a framework we called ProtoObf. ProtoObf is used to evaluate obfuscations performance. Results show an increase of protocol complexity with the number of obfuscation composition while costs (particularly the serialized buffer size) stay low.