Conception de réseaux de neurones légers avec garanties de performance

design of lightweight neural networks with guaranteed performance

• Auteur / Autrice : Samy Houache
• Direction : Yann Traonmilin, Jean-François Aujol
• Type : Projet de thèse
• Discipline(s) : Mathématiques appliquées et calcul scientifique
• Date : Inscription en doctorat le 02/01/2025
• Etablissement(s) : Bordeaux
• Ecole(s) doctorale(s) : École doctorale de mathématiques et informatique
• Partenaire(s) de recherche : Laboratoire : IMB - Institut de Mathématiques de Bordeaux
• Partenaire(s) de recherche : Equipe de recherche : Image Optimisation et Probabilités

Mots clés

Mots clés libres

Garanties théoriques

Apprentissage profond

Échantillonnage

Theoretical guarantees

Deepl learning

Sampling

Résumé

Depuis quelques années, les technologies de Machine Learning (ML) sont particulièrement considérées dans le domaine aéronautique pour développer de nouveaux services d'assistance ou augmenter l'autonomie des systèmes. Plus particulièrement, les modèles ML basés sur des réseaux de neurones profonds ont montré leur efficacité pour des tâches d'analyse d'image (classification d'objets dans les images, détection d'objets, ...), en atteignant des performances compatibles avec des besoins opérationnels. Concevoir un modèle ML d'analyse d'image performant n'est aujourd'hui plus un challenge. En effet, plusieurs architectures de références de modèles ML existent et plusieurs outils logiciels permettent d'ajuster leurs paramètres au cas d'usage spécifique considéré. La difficulté réside actuellement dans la capacité à exécuter ces composants dans un environnement embarqué et temps réel. En effet, après entrainement, ces modèles ML comportent plusieurs milliers de paramètres ajustés et nécessitent une puissance de calcul élevée pour être exécutés. Or, dans l'embarqué, les cibles matérielles sont contraintes en puissance de calcul et en consommation énergétique. Les modèles doivent donc être optimisés lors de leur implémentation sur la cible matérielle embarquée, pour réduire leurs besoins en puissance de calcul. Plusieurs méthodes sont aujourd'hui proposées par les suites logicielles usuelles comme la réduction de la taille du réseau (pruning) ou la quantification des paramètres. Si ces méthodes ont montré leur efficacité dans le cadre de systèmes embarqués usuels, elles sont néanmoins inapplicables telles quelles dans un contexte d'applications critiques dans l'aéronautique. En effet, ces applications critiques font l'objet de fortes contraintes règlementaires dont une certification par des autorités externes. Cette certification n'est obtenue qu'après démonstration que le modèle ML vérifie un certain nombre de propriétés. Une exigence spécifique est d'être en mesure de garantir que l'implémentation du modèle sur la cible matérielle ne dégrade pas les performances du modèle ML ou de savoir garantir que la dégradation est bornée en dessous d'un certain seuil. L'objectif de cette thèse sera donc d'étudier des méthodes permettant de garantir un seuil de dégradation maximale de performance lors d'opérations d'implémentation. On s'intéressera particulièrement à l'opération de quantification, qui est aujourd'hui, une des méthodes d'optimisation les plus efficaces et les plus impactantes.

For some years now, Machine Learning (ML) technologies have been given particular consideration in the aeronautical industry, to develop new assistance services or increase system autonomy. In particular, ML models based on deep neural networks have proven their effectiveness for image analysis tasks (classification of objects in images, object detection, etc.), achieving performance levels compatible with operational requirements. Designing a high-performance image analysis ML model is no longer a challenge. Indeed, several ML model reference architectures exist, and several software tools can be used to adjust their parameters to the specific use case under consideration. The difficulty currently lies in the ability to run these components in an embedded, real-time environment. Indeed, after training, these ML models contain several thousand adjusted parameters and require high computing power to be executed. However, in embedded applications, hardware targets are constrained in terms of computing power and energy consumption. Models must therefore be optimized during their implementation on the embedded hardware target, to reduce their computing power requirements. Several methods are currently offered by standard software suites, such as pruning or parameter quantization. While these methods have proven their effectiveness in the context of standard embedded systems, they are not applicable as such in the context of mission-critical applications in aeronautics. These critical applications are subject to stringent regulatory constraints, including certification by external authorities. This certification is only obtained once it has been demonstrated that the ML model meets a certain number of properties. A specific requirement is to be able to guarantee that the implementation of the model on the hardware target does not degrade the performance of the ML model, or to be able to guarantee that the degradation is limited below a certain threshold. The aim of this thesis will therefore be to study methods for guaranteeing a maximum performance degradation threshold during implementation operations. Particular attention will be paid to the quantization operation, which is currently one of the most effective and high-impact optimization methods.