Apprentissage incrémental autonome et embarqué

Autonomous incremental learning for embedded systems

• Auteur / Autrice : Yanis Basso-bert
• Direction : Antoine Dupret
• Type : Projet de thèse
• Discipline(s) : Signal Image Parole Télécoms
• Date : Inscription en doctorat le 10/12/2021
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale électronique, électrotechnique, automatique, traitement du signal
• Partenaire(s) de recherche : Laboratoire : CEA Grenoble (hors LETI et LITEN)

Mots clés

Mots clés libres

Apprentissage incrémental

Système embarqué

Vision par ordinateur

Apprentissage profond

Incremental Learning

Deep Learning

Computer Vision

Embedded system

Résumé

Le développement récent d'algorithmes d'apprentissage incrémental adaptés aux réseaux neuronaux profonds est une opportunité permettant d'imaginer de nouveaux capteurs intelligents déployés dans des milieux réels. En effet, la capacité de pouvoir perfectionner son apprentissage à un contexte spécifique de déploiement offre au capteur la possibilité de se personnaliser face à des variations lentes de la tâche à accomplir (ex : détection de différents types d'anomalies) ou encore d'apprendre de nouvelles tâches non prévues initialement (ex : détection de nouveaux types d'anomalies). Cette possibilité rendrait le capteur autonome de plus en plus pertinent. Une application possible pourrait être un imageur intelligent embarqué sur un robot de compagnie et dont la tâche serait de reconnaître les personnes. Celui-ci deviendrait capable de s'adapter aux changements de personnes à reconnaitre dans son environnement ou encore aux changements de décor qui pourraient survenir dans l'environnement. L'objectif de cette thèse est d'explorer les moyens par lesquels le capteur intelligent peut être rendu effectivement autonome dans son évolution sachant que les algorithmes d'analyse du capteur sont fortement contraints par leur contexte d'exécution embarqué. La fonction sera implémentée au travers d'un système avec deux modes, un toujours actif à l'écoute de l'environnement et un avec du calcul plus intensif et sporadique. Se pose la question de partitionner cette fonction sur ce type d'architecture, pour viser performance et efficacité énergétique. Les défis à relever pour réaliser un tel système sont multiples : Une première difficulté est la réalisation de mécanismes de détection d'exemples qui sont en réalité de faux négatifs et d'autres qui correspondent à des classes nouvelles. Or, la détection de ces deux types d'exemples doit être exécutée sur la plateforme « Always-on », avec les contraintes d'implémentation associées. Une seconde difficulté concerne la phase de ré-apprentissage qui est exécutée sur la plateforme « On-demand ». Cette phase de ré-apprentissage doit prendre en compte la structure du modèle « Always-on » afin de le ré-entraîner avec de nouveaux exemples, ceci afin soit de faire lentement évoluer le contenu des classes apprises soit afin d'apprendre une nouvelle classe, mais sans oublier les anciennes.

The recent development of incremental learning algorithms for deep neural networks is an opportunity to imagine new intelligent sensor applications deployed in real environments. By being incrementally able to learn new tasks, the sensor will be able to personalize its behavior to its specific deployment milieu, allowing it to adapt to slow variations of its targeted tasks (e.g. the detection of different types of anomalies) or learn new tasks that were not initially anticipated. This possibility would make the service rendered by the autonomous sensor more and more relevant. The objective of this thesis is the exploration of the means by which the intelligent sensor can become fully autonomous in its evolution while taking into account the limited processing capability of the embedded system. Also, seeing the limited power consumption of the platform, the idea is to associate two embedded systems, a first which is “Always-on” and executes the nominal task of the application (e.g. the detection of different classes of events or anomalies), and a second which is “On-demand” which would be executed now and then, in order to retrain the model of the “Always-on” part. For coherence, it is necessary that the power consumption ratio of the two platforms be in a ratio of 1:100 to 1:1000 approximately. The challenges facing the design of such a system are many : The first is the design of detection mechanisms able to find false negative examples (slowly changing classes) as well as novel examples (new classes). These mechanisms must be executed on the “Always-on” platform, with the associated implementation constraints. A second difficulty concerns the retraining phase which is executed on the “On-demand” platform. This phase must take into account the structure of the “Always-on” model in order to be able to retrain it with new examples. This both in order to slowly learn the modifications of the existing detection task or to learn a new task without forgetting the old ones.