Synthetic, Adversarial and Natural Corruptions : Image Classifier Robustness Transfers From one Distribution Shift to an Other
Corruptions Synthétiques, Adversaires et Naturelles : Tranferts de Robustesse des Classifieurs d'Images d'un Changement de Distribution à un Autre
Résumé
The unprecedented high performances of artificial neural networks in various computer vision tasks, have drawn the interest of both academic and industrial actors. Indeed, neural networks have shown promising results when trying to detect tumors on x-ray images or reporting aggressive behaviors on video screens for instance.However, neural network performances largely shrink when they face corrupted images. For example, neural networks are sensitive to backlights, shot noises or even patterns maliciously introduced so as to disturb them.To address this issue, we generally make sure that models are robust to various corruptions before deploying them. Moreover, it is assumed that ensuring the robustness of neural networks to a set of diverse corruptions during their conception, should also make them robust to the unforeseen corruptions they may encounter afterwards. Unfortunately, this assumption does not always hold, i.e., robustness to the corruptions considered during model conception, may not transfer to the corruptions met after being deployed. For instance, a model guaranteed to be robust to brightness changes in images, can still be sensitive to variations in daylight.Actually, we do not really know which corruptions should be considered, when evaluating robustness during model conceptions, in order to increase their chances to be robust to the distribution shifts they may encounter when deployed. Therefore, to address this issue, we propose in this thesis to study the circumstances under which the robustness to one corruption transfers to an other. In other words, we would like to know which robustness guarantee, is provided by making sure that a model is robust to some specific corruptions.In tackling this problem, we first demonstrate that hacker-like adversarial corruptions and hand-coded synthetic corruptions, are not correlated in terms of robustness. This result means that robustnesses to these two kinds of corruptions, are independent attributes, which should be both considered when attempting to design robust models. Then, we propose a data augmentation strategy called M-TLAT, able to increase robustness to these two aspects of neural network robustness simultaneously. As an interesting aside, the results obtained using M-TLAT, show that ensuring neural network robustness to a few corruptions, can make them robust to a large range of other distribution shifts.Secondly, we establish a categorization of synthetic corruptions, where robustness transfers from one corruption to an other within each category. On the other hand, corruptions from different categories are not correlated in terms of robustness. Establishing these categories show that some of the widely used synthetic corruption benchmarks, extensively test neural network robustness towards some specific kinds of corruptions, to the detriment of other kinds which are largely omitted. To overcome this, we finally provide recommendations to build less biased benchmarks. Interestingly, robustness to benchmarks built following our guidelines, largely transfer to naturally arising corruptions, which can be particularly useful in production context.
Les réseaux de neurones artificiels ont obtenu des performances sans précédent dans de nombreuses tâches de vision par ordinateur. Ils ont ainsi attiré l'attention des acteurs industriels et académiques. En effet, des réseaux de neurones ont par exemple des taux de réussite extrêmement prometteurs en détection de tumeurs cancéreuses ou dans l'identification de comportements agressifs sur des images vidéo.Cependant, les performances des réseaux chutent drastiquement lorsqu'ils rencontrent des images dites corrompues. Ils sont par exemple sensibles aux contre-jours, aux bruits de grenaille et même à des motifs trompeurs pouvant être introduits spécifiquement pour les perturber.Pour lutter contre cette vulnérabilité, on cherche généralement à rendre les réseaux de neurones robustes à diverses corruptions avant de les déployer. L'idée étant que des modèles certifiés comme étant robustes à diverses corruptions durant leur phase de conception, ont plus de chances d'être robustes aux corruptions qu'ils rencontreront ensuite. Malheureusement, cette intuition n'est pas toujours vérifiée, car la robustesse certifiée en amont vis-à-vis de certaines corruptions, n'est pas toujours représentative de la robustesse aux corruptions survenant après déploiement. Par exemple, un modèle certifié comme étant robuste aux changements de luminosité, n'est pas nécessairement robuste aux variations de l'ensoleillement.En réalité, nous ne savons pas vraiment quelles corruptions considérer lors d'une mesure de robustesse, pour fournir aux réseaux une garantie vis-à-vis des corruptions qu'ils pourraient rencontrer ensuite. Pour combler cette lacune, nous proposons dans cette thèse d'étudier dans quels cas, le fait d'être robuste à une corruption implique d'être robuste à une autre. En d'autres termes, on aimerait savoir quelle garantie sur la robustesse d'un réseau a-t-on, si l'on sait que celui-ci est robuste à des corruptions données.Pour apporter des éléments de réponse, nous commençons par démontrer que la robustesse aux corruptions adversaires, qui exploitent la structure interne des réseaux, n'est pas corrélée à la robustesse aux corruptions synthétiques codées à la main. Ces deux aspects de la robustesse des réseaux sont indépendants. Puis, nous proposons une méthode de data augmentation nommée M-TLAT, capable d'améliorer la robustesse des réseaux à ces deux types de corruptions simultanément. Ces résultats montrent par ailleurs, que certifier la robustesse à quelques corruptions complexes bien choisies, peut augmenter la robustesse des réseaux à un grand ensemble de perturbations.Dans un deuxième temps, nous établissons une nouvelle catégorisation des corruptions synthétiques, de telle manière que le fait d'être robuste à une corruption d'une catégorie donnée, implique d'être robuste aux corruptions appartenant à cette même catégorie. A l'inverse, les corruptions appartenant à des catégories différentes ne sont pas corrélées en termes de robustesse. Ces catégories montrent en l'occurrence, que des benchmarks de corruptions synthétiques dont l'usage est largement répandu, donnent trop d'importance au fait d'être robuste à certaines corruptions; négligeant ainsi la robustesse à d'autres types de corruptions. En définitive, pour résoudre cela, nous fournissons des recommandations visant à construire des benchmarks moins biaisés. Il est par ailleurs intéressant de noter que les benchmarks construits en suivant nos critères, fournissent des estimations tout à fait prédictives de la robustesse des réseaux aux corruptions dites naturelles; ce qui peut être particulièrement utile dans un contexte industriel.
Origine : Version validée par le jury (STAR)