Optimisation d'hyperparamètres de modèles d'apprentissage profond

Optimization of hyperparameters of deep learning models

• Auteur / Autrice : Guillaume Lacharme
• Direction : Hubert Cardot, Christophe Lente, Nicolas Monmarché
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 24/05/2024
• Etablissement(s) : Tours
• Ecole(s) doctorale(s) : Mathématiques, Informatique, Physique Théorique et Ingénierie des Systèmes - MIPTIS
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'Informatique Fondamentale et Appliquée de Tours (2012-...)
• Jury : Président / Présidente : Clarisse Dhaenens
• Jury : Examinateurs / Examinatrices : Axel Parmentier
• Jury : Rapporteurs / Rapporteuses : Karteek Alahari, Akka Zemmari
• DOI : 10.70675/636f153aza334z4c1az84cazcf593f5204e6

Mots clés

Mots clés contrôlés

Architecture des ordinateurs

Cryptanalyse différentielle

Reconnaissance des formes (informatique)

Convolutions (mathématiques)

Codes convolutifs

Réseaux neuronaux (informatique)

Modèles mathématiques

Apprentissage profond

Hyperparamètres

Mots clés libres

Optimisation continue

Optimisation discrète

Optimisation d'hyperparamètres

Recherche d'architecture

Réseau de neurones

Apprentissage profond

Continuous optimization

Discrete optimization

Hyperparameter optimization

Neural architecture search

Neural network

Deep learning

Résumé

Les modèles d'apprentissage profond ont permis de grandes percées dans de nombreux domaines tels que le traitement de texte, d'image et du son. Ils se distinguent des autres modèles grâce à leurs grandes capacités de représentation automatique.Ces modèles reposent sur de nombreux hyperparamètres. Il convient de bien les sélectionner car ces derniers influent sur le nombre de degrés de liberté du modèle ainsi que sur son processus d'apprentissage. Ils ont un impact direct sur la capacité de généralisation du modèle. Nous savons grâce aux nombreuses expérimentations que les modèles très profonds ont tendance à mieux généraliser. Les méthodes classiques d'optimisation d'hyperparamètres sont difficilement applicables pour ce type de modèle car le coût d'évaluation d'un hyperparamètre est trop élevé. De nombreuses approches ont cherché à réduire ce coût d'évaluation.Dans cette thèse, nous avons choisi de nous focaliser sur l'optimisation des hyperparamètres associés aux réseaux de neurones convolutifs. Ces types de réseaux sont très utilisés pour les problèmes de reconnaissance de forme.Nous nous pencherons dans un premier temps sur les hyperparamètres attachés à la topologie de ces réseaux. Puis nous nous intéresserons aux hyperparamètres impactant leur processus d'apprentissage.

Deep learning models have enabled significant breakthroughs in various fields such as text, image, and sound processing. They stand out from other models due to their large capacity for automatic representation. These models rely on numerous hyperparameters, and it is important to select them carefully as they influence the number of degrees of freedom of the model and its learning process. They directly impact the model's generalization ability. Through numerous experiments, we know that very deep models tend to generalize better. Traditional hyperparameter optimization methods are challenging to apply to this type of model because the cost of evaluating a hyperparameter is too high. Many approaches have sought to reduce this evaluation cost.In this thesis, we have chosen to focus on optimizing the hyperparameters associated with convolutional neural networks. These types of networks are widely used for pattern recognition problems. We will first examine the hyperparameters related to the topology of these networks. Then, we will explore the hyperparameters that impact their learning process.