Recherche efficace d'architecture neuronale profonde via l'optimisation Bayésienne : Application à la vision par ordinateur

Efficient Deep Neural Architecture Search via Bayesian Optimization: An application to Computer Vision

• Auteur / Autrice : Houssem Ouertatani
• Direction : El-Ghazali Talbi, Smail Niar
• Type : Projet de thèse
• Discipline(s) : Informatique et applications
• Date : Inscription en doctorat le 01/10/2021
• Etablissement(s) : Université de Lille (2022-....)
• Ecole(s) doctorale(s) : MADIS Mathématiques, sciences du numérique et de leurs interactions
• Partenaire(s) de recherche : Laboratoire : CRIStAL - Centre de Recherche en Informatique, Signal et Automatique de Lille
• Partenaire(s) de recherche : Equipe de recherche : CRIStAL-INRIA

Mots clés

Mots clés libres

Recherche automatique d'architectures

Optimisation Bayésienne

Modèles de vision efficaces

Cnn

ViT

Deep ensemble

Neural Architecture Search (NAS)

Bayesian Optimization

Efficient vision models

Convolutional Neural Network (CNN)

Vision Transformer (ViT)

Deep ensemble

Résumé

Les réseaux de neurones profonds ont permis des progrès significatifs dans de nombreuses applications, notamment la reconnaissance d'images et de la parole, la traduction automatique, la vision par ordinateur, etc. Les architectures des réseaux actuellement utilisées ont pour la plupart été développées manuellement par des experts humains, ce qui est un processus long et et susceptible d'entraîner des erreurs. Par conséquent, les méthodes de recherche automatisée des architectures, et l'optimisation des hyperparamètres suscitent un intérêt croissant. De plus, l'essor des DNNs continue d'être alimenté par les améliorations apportées aux accélérateurs matériels. L'objectif est le développement d'une méthodologie pour l'optimisation et la conception automatisée des réseaux profonds. La performance des modèles d'apprentissage profonds dépend fortement de l'architecture et du choix des hyperparamètres. Les défis scientifiques de ce projet peuvent être décrits par les difficultés suivantes : - La taille de l'espace de recherche: Les réseaux de neurones profonds sont difficiles à concevoir en raison du très grand nombre de paramètres à configurer. - Fonction objectif coûteuse: la fonction objectif du problème d'AutoDNN est très coûteuse à évaluer. L'optimisation bayésienne doit donc être appliquée. Elle consiste à utiliser des modèles de substitution (par exemple, des méta-modèles, des modèles réduits) tels que des processus gaussiens (par exemple, le krigeage) pour approximer la fonction objectif. - Optimisation multi-objectifs: La plupart des travaux sur l'AutoDNN formulent le problème comme un problème à objectif unique basé sur la précision. Les DNN donnent une grande précision au prix d'une complexité de calcul élevée (par exemple, des milliards de FLOPs). Récemment, les approches AutoDNN ont été appliquées à des applications nécessitant des modèles légers et un temps d'exécution rapide. Il peut être infaisable d'exécuter des applications en temps réel sur des plateformes à ressources limitées telles que l'IoT, les smartphones, les robots, les drones, les véhicules autonomes et les systèmes embarqués. En effet, ces plateformes sont souvent limitées par les ressources matérielles en termes de consommation d'énergie, de mémoire disponible, de FLOPs disponibles et de contraintes de latence. L'optimisation de ces objectifs multiples permettra un traitement efficace des DNN pour améliorer l'efficacité énergétique et le débit sans sacrifier la précision de l'application ou augmenter le coût du matériel. Il s'agit d'un aspect critique pour le déploiement à grande échelle des DNN dans les systèmes d'IA. En plus de la configuration des DNN, la configuration du matériel fera partie du problème d'optimisation multi-objectifs. De nombreux objectifs liés au matériel et non liés au matériel doivent être étudiés pour l'apprentissage et/ou l'inférence.

Deep Neural Networks (DNNs) have enabled significant progress in many applications including image/speech recognition, language translation, computer vision, etc. Currently employed neural architectures have mostly been developed manually by human experts, which is a time-consuming and error-prone process. Consequently, there is growing interest in automated neural architecture search methods and hyper-parameter optimization. In addition, the rise of DNNs is continuing to be fueled by the improvements in accelerators. The objective is the development of a methodology for the automated design and optimization of DNNs (AutoDNN). The performance of deep learning models is highly dependent on the architecture and the choice of the hyperparameters. The scientific challenges for this project can be described by the following difficulties: - Size of the search space: DNNs are notoriously difficult to set because of the huge number of parameters to configure. - Expensive objective function: the objective function of the problem is highly expensive to evaluate. Hence Bayesian optimization must be applied to handle this issue. It consists in using surrogate models (e.g. meta-models, reduced models) such as Gaussian processes (e.g. Kriging) to approximate the objective function. - Multiple objectives: Most of the work on AutoDNN formulate the problem as a single-objective problem based on the accuracy. DNNs give high accuracy at the cost of high computational complexity (e.g., billions of FLOPs). Recently, AutoDNN approaches have been applied to applications requiring lightweight models and fast run-time. It can be infeasible to run real-time applications on resource-constrained platforms such as IoT, smartphones, robots, drones, autonomous vehicles, and embedded systems. Indeed, those platforms are often constrained by hardware resources in terms of power consumption, available memory, available FLOPs, and latency constraints. Optimizing those multiple objectives will enable efficient processing of DNNs to improve energy efficiency and throughput without sacrificing application accuracy or increasing hardware cost. This is a critical aspect to the wide deployment of DNNs in AI systems. In addition to the configuration of DNNs, hardware configuration will be part of the multi-objective optimization problem. Many device-related and device-agnostic objectives must be investigated for the optimization and/or the inference steps.