Apprentissage dynamique de reseaux de neuronnes

Neural networks learning through dynamics

• Auteur / Autrice : Dongshu Liu
• Direction : Julie Grollier
• Type : Projet de thèse
• Discipline(s) : Physique
• Date : Inscription en doctorat le 01/12/2021
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Physique en Île-de-France (Paris ; 2014-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Albert Fert, CNRS, Thales, Université Paris Saclay
• Partenaire(s) de recherche : Référent : Faculté des sciences d'Orsay

Mots clés

Mots clés libres

Propagation d'équilibre

Apprentissage non-supervisé

Appareils spintroniques

Equilibrium propagation

Unsupervised learning

Spintronic devices

Résumé

L'objectif de l'étude est de développer et de simuler des algorithmes de réseaux de neuronnes adaptés au matériel qui tirent parti des propriétés dynamiques de leurs composants physiques (par exemple, les memristors, les neurones LIF) pour apprendre. Le défi est d'atteindre une précision de pointe sur des tâches de référence de reconnaissance d'images et de vidéos avec ces algorithmes non conventionnels malgré la variabilité du matériel. On s'inspirera des algorithmes ''backbrop in the brain'' tel que la propagation de l'équilibre.

The goal of the study is to develop and simulate hardware-friendly neural network algorithms that leverage the dynamical properties of their physical components (e.g. memristors, LIF neurons) to learn. The challenge is to reach state-of-the-art accuracy on benchmark tasks of image and video recognition with these unconventional algorithms despite device variability. Inspiration will be taken from “backbrop in the brain” algorithms such as Equilibrium Propagation.