Protections logicielles des réseaux de neurones artificiels

Software protections for artificial neural networks

• Auteur / Autrice : Linda Guiga
• Direction : Hervé Chabanne, Jean-Luc Danger
• Type : Thèse de doctorat
• Discipline(s) : Information, communications, électronique: Réseaux, informations et communications
• Date : Soutenance le 28/06/2022
• Etablissement(s) : Institut polytechnique de Paris
• Ecole(s) doctorale(s) : École doctorale de l'Institut polytechnique de Paris
• Partenaire(s) de recherche : Laboratoire : Laboratoire Traitement et communication de l'information (Paris ; 2003-....)
• Partenaire(s) de recherche : Etablissement opérateur d'inscription : Télécom Paris (Palaiseau, Essonne ; 1878-....)
• Jury : Président / Présidente : Naofumi Homma
• Jury : Examinateurs / Examinatrices : Hervé Chabanne, Jean-Luc Danger, Lejla Batina, Suna Melek Önen, Shivam Bhasin, A.W. Roscoe
• Jury : Rapporteurs / Rapporteuses : Naofumi Homma, Lejla Batina

Mots clés

Mots clés contrôlés

Réseaux neuronaux (informatique)

Cryptographie

Mots clés libres

Réseau de neurones

Rétro-Ingénierie

Analyse de canaux auxiliaires

Exemples contradictoires

Neural networks

Reverse-engineering

Side-channel analysis

Adversarial examples

Résumé

Les réseaux de neurones (NNs) sont très présents dans notre vie quotidienne, à travers les smartphones, la reconnaissance faciale et biométrique ou même le domaine médical. Leur sécurité est donc de la plus haute importance. Si de tels modèles fuitent, cela mettrait non seulement en péril la confidentialité de données sensibles, mais porterait aussi atteinte à la propriété intellectuelle. La sélection d’une architecture adaptée et l'entraînement de ses paramètres prennent du temps - parfois des mois -- et nécessitent d'importantes ressources informatiques. C'est pourquoi un NN constitue une propriété intellectuelle. En outre, une fois l'architecture et/ou les paramètres connus d'un utilisateur malveillant, de multiples attaques peuvent être menées, telles des attaques contradictoires. Un attaquant trompe alors le modèle en ajoutant à l’entrée un bruit indétectable par l’œil humain. Cela peut mener à des usurpations d'identité. Les attaques par adhésion, qui visent à divulguer des informations sur les données d'entraînement, sont également facilitées par un accès au modèle. Plus généralement, lorsqu'un utilisateur malveillant a accès à un modèle, il connaît les sorties du modèle, ce qui lui permet de le tromper plus facilement. La protection des NNs est donc primordiale. Mais depuis 2016, ils sont la cible d'attaques de rétro-ingénierie de plus en plus puissantes. Les attaques de rétro-ingénierie mathématique résolvent des équations ou étudient la structure interne d'un modèle pour révéler ses paramètres. Les attaques par canaux cachés exploitent des fuites dans l'implémentation d'un modèle – par exemple à travers le cache ou la consommation de puissance – pour extraire le modèle. Dans cette thèse, nous visons à protéger les NNs en modifiant leur structure interne et en changeant leur implémentation logicielle.Nous proposons quatre nouvelles défenses. Les trois premières considèrent un contexte de boîte grise où l'attaquant a un accès partiel au modèle, et exploitent des modèles parasites pour contrer trois types d'attaques.Nous abordons d'abord des attaques mathématiques qui récupèrent les paramètres d'un modèle à partir de sa structure interne. Nous proposons d'ajouter un -- ou plusieurs -- réseaux de neurones par convolution (CNNs) parasites à divers endroits du modèle de base et de mesurer leur impact sur la structure en observant la modification des exemples contradictoires générés .La méthode précédente ne permet pas de contrer les attaques par canaux cachés extrayant les paramètres par l'analyse de la consommation de puissance ou électromagnétique. Pour cela, nous proposons d'ajouter du dynamisme au protocole précédent. Au lieu de considérer un -- ou plusieurs -- parasite(s) fixe(s), nous incorporons différents parasites à chaque exécution, à l'entrée du modèle de base. Cela nous permet de cacher l'entrée, nécessaire à l’extraction précise des poids. Nous montrons l'impact de cette défense à travers deux attaques simulées. Nous observons que les modèles parasites changent les exemples contradictoires. Notre troisième contribution découle de cela. Nous incorporons dynamiquement un autre type de parasite, des autoencodeurs, et montrons leur efficacité face à des attaques contradictoires courantes. Dans une deuxième partie, nous considérons un contexte de boîte noire où l'attaquant ne connaît ni l'architecture ni les paramètres. Les attaques d’extraction d'architecture reposent sur l'exécution séquentielle des NNs. La quatrième et dernière contribution que nous présentons dans cette thèse consiste à réordonner les calculs des neurones. Nous proposons de calculer les valeurs des neurones par blocs en profondeur, et d'ajouter de l’aléa. Nous prouvons que ce réarrangement des calculs empêche un attaquant de récupérer l’architecture du modèle initial.

In a context where Neural Networks (NNs) are very present in our daily lives, be it through smartphones, face and biometrics recognition or even in the medical field, their security is of the utmost importance. If such models leak information, not only could it imperil the privacy of sensitive data, but it could also infringe on intellectual property.Selecting the correct architecture and training the corresponding parameters is time-consuming -- it can take months -- and requires large computational resources. This is why an NN constitutes intellectual property. Moreover, once a malicious user knows the architecture and/or the parameters, multiple attacks can be carried out, such as adversarial ones. Adversarial attackers craft a malicious datapoint by adding a small noise to the original input, such that the noise is undetectable to the human eye but fools the model. Such attacks could be the basis of impersonations. Membership attacks, which aim at leaking information about the training dataset, are also facilitated by the knowledge of a model. More generally, when a malicious user has access to a model, she also has access to the manifold of the model's outputs, making it easier for her to fool the model.Protecting NNs is therefore paramount. However, since 2016, they have been the target of increasingly powerful reverse-engineering attacks. Mathematical reverse-engineering attacks solve equations or study a model's internal structure to reveal its parameters. On the other hand, side-channel attacks exploit leaks in a model's implementation -- such as in the cache or power consumption -- to uncover the parameters and architecture. In this thesis, we seek to protect NN models by changing their internal structure and their software implementation.To this aim, we propose four novel countermeasures. In the first three, we consider a gray-box context where the attacker has partial access to the model, and we leverage parasitic models to counter three types of attacks.We first tackle mathematical attacks that recover a model's parameters based on its internal structure. We propose to add one -- or multiple -- parasitic Convolutional Neural Networks (CNNs) at various locations in the base model and measure the incurred change in the structure by observing the modification in generated adversarial samples.However, the previous method does not thwart side-channel attacks that extract the parameters through the analysis of power or electromagnetic consumption. To mitigate such attacks, we propose to add dynamism to the previous protocol. Instead of considering one -- or several -- fixed parasite(s), we incorporate different parasites at each run, at the entrance of the base model. This enables us to hide a model's input, necessary for precise weight extraction. We show the impact of this dynamic incorporation through two simulated attacks.Along the way, we observe that parasitic models affect adversarial examples. Our third contribution is derived from this, as we suggest a novel method to mitigate adversarial attacks. To this effect, we dynamically incorporate another type of parasite: autoencoders. We demonstrate the efficiency of this countermeasure against common adversarial attacks.In a second part, we focus on a black-box context where the attacker knows neither the architecture nor the parameters. Architecture extraction attacks rely on the sequential execution of NNs. The fourth and last contribution we present in this thesis consists in reordering neuron computations. We propose to compute neuron values by blocks in a depth-first fashion, and add randomness to this execution. We prove that this new way of carrying out CNN computations prevents a potential attacker from recovering a small enough set of possible architectures for the initial model.