IA efficace en termes d'énergie et de mémoire pour décodage neuronal et neurofeedback pour l'accélération de l'entraînement cognitif.

Energy- and Memory-Efficient AI for Neural Decoding and Neurofeedback in Cognitive Training Acceleration

• Auteur / Autrice : Rémi Nahon
• Direction : Van Tâm Nguyen
• Type : Projet de thèse
• Discipline(s) : Informatique, données, IA
• Date : Inscription en doctorat le 01/11/2022
• Etablissement(s) : Institut polytechnique de Paris
• Ecole(s) doctorale(s) : École doctorale de l'Institut polytechnique de Paris
• Partenaire(s) de recherche : Laboratoire : Laboratoire de Traitement et Communication de l'Information
• Partenaire(s) de recherche : Equipe de recherche : C2S : Circuits et Systèmes de Communication

Mots clés

Mots clés libres

Entraînement cognitif

Neurofeedback

Embarqué

Attention

Compression de modèles

Cognitive training

Neurofeedback

Embedded

Attention

TinyML

Model compression

Résumé

Contexte et Motivation Les interfaces cerveau-ordinateur (ou BCI pour "Brain Computer Interface") fournissent un lien de communication direct entre le cerveau et un ordinateur ou d'autres dispositifs externes. Elles peuvent être utilisées dans divers domaines tels que l'informatique affective, les neurosciences, l'entraînement cognitif, etc. Selon le mode de collecte des informations, les BCI peuvent être divisées en deux approches techniques : invasive et non invasive. Parmi celles-ci, les mesures invasives ont été sujettes à controverse en raison des risques imprévisibles qu'elles impliquent. Jusqu'à présent, les dispositifs portables basés sur l'IoT pour les mesures non invasives sont une direction de recherche et de développement très populaire pour les BCI. L'attention est une composante très importante de la cognition. Elle nous permet de remarquer et de sélectionner un sous-ensemble d'informations parmi toutes celles qui sont disponibles, afin de pouvoir les traiter de façon plus complète. Elle est également importante pour la régulation de nos émotions. L'attention guide l'affectation des ressources de traitement cognitif. Une affectation efficace des ressources de traitement se traduit par une disponibilité rapide des informations pour un traitement mental plus performant. De plus, l'orientation de l'attention est cruciale dans le traitement des informations en fonction des exigences des tâches qui nécessitent la coordination de plusieurs opérations cognitives en mettant à disposition les ressources appropriées. Toutes ces fonctions dans le traitement de l'information font de l'attention une source majeure d'efficacité. Enfin, le maintien de l'attention et le passage rapide d'une opération cognitive à une autre sont largement corrélés à l'intelligence. La mémoire de travail, autre composante très importante de la cognition, aide à l'accomplissement des activités mentales nécessitant la disponibilité de plusieurs éléments d'information dans un laps de temps limité. De telles activités mettent en relation plusieurs éléments d'information les uns avec les autres selon un schéma complexe. Elle est essentielle pour les activités mentales qui sont considérées comme étant la base de l'intelligence. Étant donné que tant l'attention que la mémoire de travail présentent une relation substantielle avec l'intelligence, et donc une forte corrélation avec les résultats scolaires et professionnels, le fait d'améliorer l'attention et la mémoire de travail de tous revêt une importance particulière. En outre, la neuroplasticité est une des caractéristiques remarquables du cerveau. En un mot, les neurones sont faits de sorte à pouvoir s'adapter rapidement aux sollicitations auxquelles ils sont soumis. En favorisant la croissance de nouveaux réseaux neuronaux et en accélérant les connexions importantes, un programme d'entraînement cognitif peut améliorer l'activité cérébrale de manière mesurable et durable. Un tel entraînement peut également déclencher la croissance de nouveaux neurones. C'est pourquoi les deux dernières décennies ont été marquées par un effort impressionnant en faveur de la conception et de la mise en application de programmes d'entraînement cognitif, notamment grâce aux nouvelles technologies pour améliorer les capacités cognitives générales et ralentir leur déclin chez les personnes âgées. Objectifs du Doctorat Cette thèse de doctorat ne consistera pas à concevoir une nouvelle méthode d'entraînement cognitif informatisée, mais plutôt à s'appuyer sur des techniques d'entraînement mental très anciennes et reconnues, telles que la méditation de pleine conscience pour l'entraînement de l'attention et la méthode des Loci ou Palais de la Mémoire pour l'entraînement de la mémoire. Le principal objectif est de collecter des signaux physiologiques appropriés tels que l'EEG, l'ECG ou la variabilité du rythme cardiaque (HRV pour "heart rate variability" dans la littérature), de concevoir des algorithmes d'IA et de reconnaissance des formes efficaces en termes d'énergie et de mémoire afin d'extraire les caractéristiques pertinentes et, enfin, de concevoir et de mettre en œuvre un système de neurofeedback intégré à un dispositif portable basé sur l'IoT afin d'accélérer l'entraînement de l'attention, de la mémoire de travail et de l'intelligence émotionnelle en en améliorant l'efficacité et en réduisant le temps consacré à l'entraînement. Des modèles d'IA utilisant une stratégie efficace de compression de modèles au niveau du dispositif destiné à l'utilisateur final seront proposés pour augmenter l'efficacité en termes d'énergie et de mémoire. L'utilisation d'approches telles que la NAS ("Neural Architecture Search"), le pruning (ou "élagage" en français), la quantification et la compression réduiront les besoins en mémoire et en calcul, ce qui permettra une réduction importante de l'effort de calcul en termes de FLOPS ("Floating Point Operations Per Second", unité qui correspond au nombre d'opérations par seconde) et de la quantité de mémoire requise, tout en maintenant des niveaux de performance équivalents à ceux d'algorithmes non optimisés à ces niveaux.

Background and Motivation Brain computer interfaces (BCI) provide a direct communication link between the brain and a computer or other external devices. They have potential application in various fields such affective computing, neuroscience, cognitive training, etc. Depending on the way of information collection, BCI can be divided into two technical paths: invasive and non-invasive. Among them, invasive measurement has been controversial due to its unpredictable risk. So far, IoT based wearable devices for non-invasive measurement are a very popular research and development direction for BCIs. Attention is a very important component of the cognitive basis. It allows us to notice and select a subset of information from all that is available so that we can more fully process that information. It is also important for the regulation of our own emotions. Attention guides the assignment of processing resources. Efficient assignment of processing resources means quick availability of information for higher mental processing. Moreover, attentional guidance is crucial in processing according to task demands that require the coordination of several cognitive operations by providing the appropriate resources. All these functions in information processing present attention as major source of efficiency. Finally, sustained attention and quick shifts between various cognitive operations are correlated substantially with intelligence. Working memory, another very important component of the cognitive basis, emerged because of mental activities requiring the availability of several items of information within a limited time period. Such activities relate several pieces of information to each other according to a complex plan. It is essential for the mental activities that are assumed to be basic to intelligence. Because both attention and working memory show a substantial relationship with intelligence, and thus a strong correlation with academic and professional achievements, improving people's attention and working memory is of particular relevance. In addition, neuroplasticity is a remarkable feature of the brain. In a nutshell, neurons are built to be able to rapidly adapt to the demands placed on them. By growing new neural networks and speeding up important connections, a cognitive training program may measurably and sustainably enhance brain activity. It can also trigger the growth of new neurons. That is why the past two decades have seen an impressive effort towards designing and implementing cognitive training programs in particular with new technologies for enhancing general cognitive ability and slowing down its decline in the elderly. Ph.D Aims This Ph.D thesis will not consist of designing a new computerized cognitive training technique, but rather based on very ancient and well-known mind training techniques, such as mindfulness for attention training and the method of Loci or memory palace for memory training. The main objective is to collect appropriate physiological signals such as EEG, ECG or HBV, design adequate energy- and memory-efficient AI and pattern recognition algorithms in order to extract relevant features and finally design and implement a neurofeedback system into an IoT based wearable device to accelerate the attention, working memory and emotional intelligence training by enhancing the efficiency and reducing the training time. AI models using effective model compression strategy at the end-user device level will be proposed to increase energy- and memory-efficiency. Using approaches such as neural architecture search, pruning, quantization, and compression will reduce memory and computational demands, providing a high reduction in computational effort in terms of floating point operations and memory reduction, while maintaining similar baseline performance.