Gestion adaptive de l'alimentation des objets connectés limités en ressources

Lightweight Highly-Adaptive Reinforcement Learning Method for Energy-Harvesting IoT Applications

• Auteur / Autrice : Sota Sawaguchi
• Direction : Suzanne Lesecq
• Type : Thèse de doctorat
• Discipline(s) : Nanoélectronique et nanotechnologie
• Date : Soutenance le 16/11/2021
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale électronique, électrotechnique, automatique, traitement du signal (Grenoble ; 199.-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'électronique et de technologie de l'information (Grenoble ; 1967-....)
• Jury : Président / Présidente : Lorena Anghel
• Jury : Examinateurs / Examinatrices : Lionel Torres, Édith Beigné
• Jury : Rapporteur / Rapporteuse : Olivier Berder, Pascal Benoit

Mots clés

Mots clés contrôlés

Microélectronique

Apprentissage automatique

Algorithmes

Internet des objets

Mots clés libres

Micro-Électronique

Internet des Objets

Apprentissage automatique

Integrated electronics

Internet of Things

Machine learning

Résumé

L’Internet des objets à récupération d’énergie (EH-IoT) permet d’éviter le manque d’énergie pour les opérations perpétuelles des nœuds sans induire de maintenance. Il permet également de fournir une meilleure qualité de service (QoS) en cas de budget énergétique suffisant. En fonction de l’énergie récupérée et de la qualité de service requise, les opérations du système doivent être contrôlées de manière adaptative, en particulier dans les nœuds à ressources limitées. Chaque nœud sera confronté à des incertitudes différentes dans des environnements différents. Par conséquent, un contrôleur adaptatif intelligent léger est requis. À cette fin, l’apprentissage par renforcement (RL) est une solution appropriée qui interagit avec les environnements et apprend leur dynamique au moment de l’exécution sans aucune connaissance a priori à leur sujet. Nous nous concentrons spécifiquement sur une méthode RL acteur-critique avec des approximations de fonctions linéaires et appelons ce type d’algorithme LAC (Linear Actor-Critic). Trois problèmes des méthodes LAC sont principalement abordés dans notre travail: divergence et réactivité lente aux changements environnementaux, coûts algorithmiques et prise en compte implicite des contraintes. Le premier problème était causé par des taux d’apprentissage fixes qui s’adaptent difficilement à de nouvelles situations. Nous avons introduit l’algorithme à taux d’apprentissage adaptatif appelé Adam et proposé d’utiliser des facteurs de lissage plus petits pour améliorer l’adaptabilité. Parallèlement à l’utilisation d’une distribution gaussienne pour l’acteur, l’ajout d’Adam augmente les coûts algorithmiques. La majorité des coûts algorithmiques provient de trois parties : la dérivation de l’écart type, les divisions et la distribution gaussienne. À cette fin, trois méthodes d’approximation sont utilisées: la règle empirique pour les écarts types, les dérivations réciproques basées sur la LUT, et la méthode gaussienne basée sur les quartiles, respectivement. Avec l’utilisation de la précision à virgule fixe, les frais généraux algorithmiques ont été considérablement réduits. Nous avons ensuite implémenté une solution matérielle asynchrone pour montrer d’autres améliorations de l’efficacité énergétique de l’algorithme proposé. Enfin, nous considérons le processus décisionnel de Markov contraint pour répondre aux contraintes des méthodes LAC. En utilisant les termes normalisés d’énergie et de performance, nous avons établi une fonction de récompense symétrique dans LAC pour permettre d’aborder également les contraintes d’énergie et de performance, et d’apprendre rapidement durant l’exécution.

Energy-harvesting Internet-of-Things (EH-IoT) makes it possible to avoid the lack of energy for perpetual operations of nodes with no maintenance costs. It also enables providing better quality-of-service (QoS) in case of sufficient energy budget. Depending on the harvested energy and the required QoS, system operations must be adaptively controlled, especially in resource-constrained nodes. Each node will face different uncertainties in different environments. As such, a lightweight smart adaptive controller is required. For that purpose, reinforcement learning (RL) is a suitable solution that interacts with the environments and learns their dynamics at run-time with no a-priori knowledge about them. We specifically focus on an actor-critic RL method with linear function approximations and call this type of algorithm LAC (Linear Actor-Critic). Three problems in LAC methods are mainly addressed in our work: divergence and slow reactivity to environmental changes, algorithmic costs, and implicit consideration of constraints. The first problem was caused by fixed learning rates that cannot adapt to new situations. We introduced the adaptive learning rate algorithm called Adam and proposed using smaller smoothing factors to improve the adaptability. Along with the use of a Gaussian distribution for the actor, the addition of Adam increases the algorithmic costs. The major part of the algorithmic costs comes from three parts: the derivation of the standard deviation, the divisions, and the Gaussian distribution. To this end, three approximation methods are employed: the rule of thumb for standard deviations, the LUT-based reciprocal derivations, and the quartile-based Gaussian method, respectively. With the use of fixed-point arithmetic, the algorithmic overheads drastically reduced. We then implemented an asynchronous hardware solution to show further improvements in energy efficiency of our proposed algorithm. Lastly, we consider constrained Markov Decision Process to address the constraints in LAC methods. By using the normalized energy and performance terms, we established a symmetrical reward function in LAC to make it possible to equally address the constraints of energy and performance and to learn quickly at run-time.