Ensembles de réseaux de neurones répartis et parallèles appliqués au domaine de l'énergie

Ensembles of Deep Neural Networks distributed and parallel for the energy industry

• Auteur / Autrice : Pierrick Pochelu
• Direction : Serge Petiton
• Type : Thèse de doctorat
• Discipline(s) : Informatique et applications
• Date : Soutenance le 13/06/2022
• Etablissement(s) : Université de Lille (2022-....)
• Ecole(s) doctorale(s) : Ecole doctorale Mathématiques, sciences du numérique et de leurs interactions (Lille ; 2021-....)
• Partenaire(s) de recherche : Laboratoire : Centre de Recherche en Informatique, Signal et Automatique de Lille
• Jury : Président / Présidente : Laurence Duchien
• Jury : Examinateurs / Examinatrices : Bruno Conche, France Boillod-Cerneux, Pierre Sens, Cécile Pereira
• Jury : Rapporteurs / Rapporteuses : Joel Saltz, Michel Daydé

Mots clés

Mots clés contrôlés

Calcul intensif (informatique)

Vision par ordinateur

Apprentissage par renforcement (intelligence artificielle)

Apprentissage profond

Réseaux neuronaux (informatique)

Mots clés libres

Apprentissage ensembliste

Deep Learning

Ensemble machine learning

High Performance Computing

Computer Vision

Reinforcement learning

Résumé

L'apprentissage ensembliste de réseaux de neurones profonds (Deep Neural Network - DNN) combine les prédictions de plusieurs DNN pour améliorer les performances de résultats obtenus à l’aide d’un réseau unique (DNN) notamment en réduisant l'erreur de généralisation.Ces techniques d’ensemble ont le potentiel d'améliorer des applications complexe et stratégique ML en particulier celles du domaine de l’énergie. Cependant, implémenter efficacement ces techniques d’ensembles soulèvent plusieurs questions: Comment orchestrer efficacement les différentes étapes du cycle de vie des ensembles de DNN (apprentissage, inférence) en vue d’une exécution globale performante tirant partie des infrastructures HPC. Comment entrainer plusieurs DNN indépendants, sélectionner un ensemble performant, et exposer les prédictions de l'ensemble construit pour des applications clientes.Dans ce travail, nous proposons des procédures pour construire un ensemble précis de DNN avec de multiples accélérations des étapes son cycle de vie. Nos procédures garantissent de trouver automatiquement de bons ensembles en se basant sur la diversité des DNN, leur précision individuelle et optimisation du coût de calcul de l'ensemble. En ce qui concerne les deux objectifs qualité des prédictions et la vitesse d'inférence, nous avons découvert que notre procédure construit des ensembles de DNN dont le résultat de prédiction apporte un gain significatif (rapidité, précision des prédictions, reproductibilité, économie en consommation de ressources) supérieur par rapport à l’utilisation d’un DNN unique.Ces technologies ont été implémentées au sein de l’entreprise, sur des cas d’usages concrets et opérationnels (classification d’images, contrôle optimal d’installation par renforcement learning). L’application sur ces cas d’usage, entre dans la stratégie de l’entreprise son orientation vers la production d’énergie décarbonée.

Ensemble of Deep Neural Networks (DNNs) combines the predictions from multiple DNNs to improve the predictions to improve predictions over one single DNNs by reducing generalization error.They have the potential to develop the most complex and strategic applications such as developing ML applications for the energy industry. However, ensembles of DNNs raise multiple open questions such as: to run and scale efficiently the steps of their life cycle (training and inference) to obtain global performance leveraging HPC. How to train multiple independent DNNs, select a performant ensemble, and serving the built ensemble’s predictions to the client application.In this work, we propose procedures to build an accurate ensemble of DNNs with multiple accelerations of its life cycle. Our procedures ensure to automatically find good ensembles by searching complementary DNNs, individual accuracy, and computing cost. In regard to those two objectives: accuracy and inference speed, we discovered that our procedure to build Ensembles of DNNs bring high advantages: computing speed, accuracy, and higher reproducibility, save resource consumption.Those new technics have been proposed on practical applications on both supervised image classification and optimal facility control by deep reinforcement learning. Experimental proofs have been performed on multiple energy applications towards a low-carbon future.