OpenNas : un cadre adaptable de recherche automatique d'architecture neuronale

OpenNas : An adaptable neural architecture search framework

• Auteur / Autrice : Léo Pouy
• Direction : Chokri Mraidha, Chérif Larouci, Fouad Khenfri, Patrick Leserf
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 06/12/2023
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'intégration des systèmes et des technologies (Gif-sur-Yvette, Essonne ; 2001-....) - ESTACA'Lab (Saint-Quentin-en-Yvelines, Yvelines)
• Partenaire(s) de recherche : Référent : Université Paris-Saclay. Faculté des sciences d’Orsay (Essonne ; 2020-....)
• Partenaire(s) de recherche : graduate school : Université Paris-Saclay. Graduate School Informatique et sciences du numérique (2020-….)
• Jury : Président / Présidente : Jean-Philippe Babau
• Jury : Examinateurs / Examinatrices : Carola Doerr, Frédéric Saubion, Marc Schoenauer, Ahmed Samet
• Jury : Rapporteurs / Rapporteuses : Carola Doerr, Frédéric Saubion

Mots clés

Mots clés contrôlés

Réseaux neuronaux (informatique)

Apprentissage profond

Algorithmes génétiques

Métaheuristiques

Apprentissage automatique

Mots clés libres

Intelligence artificielle

Optimisation multiobjectif

Recherche Automatique d'Architecture Neuronale

Apprentissage Automatique

Auto-ML

Espace de Recherche

Artificial Intelligence

Multi-Objective optimization

Neural Architecture Search

Deep Learning

Auto-ML

Search Space

Résumé

Lors de la création d'un modèle de réseau de neurones, l'étape dite du ''fine-tuning'' est incontournable. Lors de ce fine-tuning, le développeur du réseau de neurones doit ajuster les hyperparamètres et l'architecture du réseau pour que ce-dernier puisse répondre au cahier des charges. Cette étape est longue, fastidieuse, et nécessite de l'expérience de la part du développeur. Ainsi, pour permettre la création plus facile de réseaux de neurones, il existe une discipline, l'''Automatic Machine Learning'' (Auto-ML), qui cherche à automatiser la création de Machine Learning. Cette thèse s'inscrit dans cette démarche d'automatisation et propose une méthode pour créer et optimiser des architectures de réseaux de neurones (Neural Architecture Search). Pour ce faire, un nouvel espace de recherche basé sur l'imbrication de blocs à été formalisé. Cet espace permet de créer un réseau de neurones à partir de blocs élémentaires connectés en série ou en parallèle pour former des blocs composés qui peuvent eux-mêmes être connectés afin de former un réseau encore plus complexe. Cet espace de recherche à l'avantage d'être facilement personnalisable afin de pouvoir influencer la recherche automatique vers des types d'architectures (VGG, Inception, ResNet, etc.) et contrôler le temps d'optimisation. De plus il n'est pas contraint à un algorithme d'optimisation en particulier. Dans cette thèse, la formalisation de l'espace de recherche est tout d'abord décrite, ainsi que des techniques dîtes d'''encodage'' afin de représenter un réseau de l'espace de recherche par un entier naturel (ou une liste d'entiers naturels). Puis, des stratégies d'optimisation applicables à cet espace de recherche sont proposées. Enfin, des expérimentations de recherches d'architectures neuronales sur différents jeux de données et avec différents objectifs en utilisant l'outil développé (nommé OpenNas) sont présentées.

When creating a neural network, the ''fine-tuning'' stage is essential. During this fine-tuning, the neural network developer must adjust the hyperparameters and the architecture of the network so that it meets the targets. This is a time-consuming and tedious phase, and requires experience on the part of the developer. So, to make it easier to create neural networks, there is a discipline called Automatic Machine Learning (Auto-ML), which seeks to automate the creation of Machine Learning. This thesis is part of this Auto-ML approach and proposes a method for creating and optimizing neural network architectures (Neural Architecture Search, NAS). To this end, a new search space based on block imbrication has been formalized. This space makes it possible to create a neural network from elementary blocks connected in series or in parallel to form compound blocks which can themselves be connected to form an even more complex network. The advantage of this search space is that it can be easily customized to influence the NAS for specific architectures (VGG, Inception, ResNet, etc.) and control the optimization time. Moreover, it is not constrained to any particular optimization algorithm. In this thesis, the formalization of the search space is first described, along with encoding techniques to represent a network from the search space by a natural number (or a list of natural numbers). Optimization strategies applicable to this search space are then proposed. Finally, neural architecture search experiments on different datasets and with different objectives using the developed tool (named OpenNas) are presented.