L'Intelligence Artificielle à faible consommation énergétique pour la modélisation de l'incertitude

Energy efficient Artificial Intelligence for uncertainty modelling

• Auteur / Autrice : Phan anh Vu
• Direction : Bertrand Rivet
• Type : Projet de thèse
• Discipline(s) : Signal Image Parole Télécoms
• Date : Inscription en doctorat le 06/03/2023
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale électronique, électrotechnique, automatique, traitement du signal (Grenoble ; 199.-....)
• Partenaire(s) de recherche : Laboratoire : CEA Grenoble (hors LETI et LITEN)

Mots clés

Mots clés libres

Intelliegnce artificielle

Appentissage automatique

Modélisation de l'incertitude

Efficience de calcul

Circuit électronique

Système embarqué

Artificial intelligence

Machine Learning

Uncertainty quantification

Efficient computation

Electronic circuit

Embedded system

Résumé

La modélisation de l'incertitude jouera un rôle central dans le déploiement de systèmes d'IA fiables et responsables dans des domaines critiques pour la sécurité tels que la conduite autonome et les systèmes médicaux. Cependant, les méthodes «déterministes» actuelles d'entrainement et d'application des modèles de réseaux de neurones, une approche de l'IA qui se répand de plus en plus, sont incapables de tenir compte de l'incertitude. En fait, des études empiriques ont observé qu'ils font souvent des prédictions avec un niveau de confiance trop elevé [1]. L'incertitude permet à un modèle d'identifier quand il est présenté avec une donnée d'entrée qui est par exemple soit ambiguë, corrompue ou d'une classe rarement/jamais vue lors de l'entrainement du modèle. Diverses approches ont été proposées ces dernières années permettant aux modèles de réseaux de neurones profonds de tenir compte de l'incertitude. Notamment : Hamiltonian Monte Carlo [2], Monte Carlo dropout [3], Inférence variationnelle [4] et les méthodes d'ensemble [5]. Cependant, chacune de ces approches implique des charges de mémoire ou de calcul importantes par rapport aux méthodes déterministes équivalentes. L'une des raisons en est que les solutions matérielles existantes pour exécuter ces modèles, ainsi que les moyens de lier ces approches au matériel, ne sont pas bien adaptées aux particularités des techniques de modélisation de l'incertitude. En réalité, il y a eu peu de recherches sur ce problème à ce jour. Un exemple notable est cependant Vibnn [6], où un nouveau matériel optimisé pour exécuter des modèles de réseaux de neurones basés sur l'inférence variationnelle a été proposé - permettant une réduction des besoins en énergie et de la latence de prédiction de deux ordres de grandeur par rapport à une unité de traitement graphique. L'objectif de cette thèse de doctorat sera d'explorer comment diverses approches de modélisation de l'incertitude peuvent être réduites de manière agressive en complexité (c'est-à-dire moins de mémoire et des calculs plus simples) et, en parallèle, d'examiner quelles innovations matérielles pourraient permettre à ces modèles de fonctionner plus efficacement. L'étudiant travaillera sur le problème de l'application de modèles d'incertitude à un nouveau jeu de données récemment collecté par le CEA-LETI Clinatec (http://www.clinatec.fr/en/). L'ensemble de données est composé d'enregistrements de séries chronologiques d'électroencéphalographie de patients souffrant d'épilepsie. Plus précisément, l'étudiant devra: I.Développer une tâche de référence (c'est-à-dire le seuillage d'incertitude pour le diagnostic ou l'annotation de signal basée sur l'apprentissage actif) basée sur l'ensemble de données dans le but de comparer les méthodes développées au cours de la thèse II.Appliquer différents types de modèles d'incertitude à l'indice de référence et comparer III.Etudier l'impact de différentes techniques de réduction de la complexité IV.Proposer des innovations matérielles pour améliorer l'efficacité énergétique et mémoire des approches les plus prometteuses (c'est-à-dire la conception et l'évaluation de blocs architecturaux numériques ou les moyens d'embarquer les modèles sur des microprocesseurs existants) La thèse sera hébergée et co-encadrée entre deux laboratoires du CEA-LIST : Le Laboratoire d'Intelligence Artificielle Embarquée (LIAE) du campus Paris-Saclay et le Laboratoire d'Intelligence Intégrée Multi-capteurs (LIIM) du campus de Minatec à Grenoble. Cela permettra au doctorant de travailler sur les deux sites et d'acquérir des perspectives à partir de deux environnements de recherche différents qui abordent individuellement des aspects distincts et qui se chevauchent du même problème. L'école doctorale de l'Université Paris-Saclay sera chargée de délivrer le diplôme. Un candidat très motivé avec une expérience à la fois en électronique et en apprentissage automatique et intéressé à travailler à cette frontière interdisciplinaire est souhaité.

Uncertainty modelling will play a pivotal role in the deployment of trustworthy and responsible AI systems in safety-critical domains such as autonomous driving and medical systems. However, current ‘deterministic' methods to training and applying neural network models, an approach to AI that is becoming increasingly widespread, are unable to account for uncertainty. In fact, empirical studies have observed that they often make over-confident predictions [1]. Uncertainty allows a model to identify when it is presented with an input that is for example either ambiguous, corrupted or of a class rarely/never seen during model training. Various approaches have been proposed in recent years allowing deep neural network models to account for uncertainty. Notably: Hamiltonian Monte Carlo [2], Monte Carlo dropout [3], Variational inference [4] and ensemble methods [5]. However, each of these approaches entails significant memory or calculation burdens when compared with equivalent deterministic methods. One reason for this is that existing hardware solutions for running these models, as well a ways of mapping these approaches to hardware, are not well suited to the particularities of uncertainty modelling techniques. In reality, there has been limited research into this problem to date. One notable example however is [6], where a novel hardware optimised for running variational inference based neural network models was proposed – achieving a reduction in energy requirements and in prediction latency by two orders of magnitude relative to a graphical processing unit. The objective of this PhD thesis will be explore how various uncertainty modelling approaches can be aggressively reduced in complexity (i.e., less memory and simpler calculations) and, in parallel, consider what hardware innovations could permit these models to run more efficiently. The student will work on the problem of applying uncertainty models to a new dataset recently collected by CEA-LETI Clinatec (http://www.clinatec.fr/en/). The dataset is composed of electroencephalography time- series recordings from patients that suffered from epilepsy. Specifically, the student will: I.Develop a benchmark task (i.e., uncertainty thresholding for diagnosis or active learning based signal annotation) based on the dataset for the purposes of comparing methods developed in the course of the thesis II.Apply different types of uncertainty models to the benchmark and compare III.Study the impact of different complexity reduction techniques IV.Propose hardware innovations for improving the energy and memory efficiency of the most promising approaches (i.e., design and evaluation of digital architectural blocks or means of embedding the models on existing microprocessors) The PhD thesis will be hosted and co-supervised between two laboratories of CEA-LIST: The Laboratory of Embedded Artificial Intelligence (LIAE) at the Paris-Saclay campus and the Laboratory of Multi-sensor Integrated Intelligence (LIIM) at the Minatec campus in Grenoble. This will permit the PhD candidate to work across the two sites and gain perspectives from the two different research environments that individually tackle separate and overlapping aspects of the same problem. The doctoral school at the Université Paris-Sacaly will be responsible for delivering the degree. A highly motivated candidate with experience in both electronics and machine learning and interested to work at this interdisciplinary boundary is desired.