Réseaux de neurones artificiels avec des nano-dispositifs spintroniques RF

Artificial neural networks with radio-frequency spintronic nano-devices

• Auteur / Autrice : Nathan Leroux
• Direction : Julie Grollier
• Type : Thèse de doctorat
• Discipline(s) : Physique
• Date : Soutenance le 21/04/2022
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : Physique en Ile de France
• Partenaire(s) de recherche : référent : Faculté des sciences d'Orsay
• Partenaire(s) de recherche : graduate school : Université Paris-Saclay. Graduate School Physique (2020-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Albert Fert (Palaiseau, Essonne ; 1995-....)
• Jury : Président / Présidente : Dafiné Ravelosona
• Jury : Examinateurs / Examinatrices : Julie Grollier, John Paul Strachan, Giovanni Finocchio, Damien Querlioz, Adrien F. Vincent
• Jury : Rapporteurs / Rapporteuses : John Paul Strachan, Giovanni Finocchio

Mots clés

Mots clés contrôlés

Oscillateurs radiofréquences

Apprentissage supervisé (intelligence artificielle)

Réseaux neuronaux (informatique)

Spintronique

Mots clés libres

Spintronique

Neuromorphisme

Intelligence artificielle

Oscillateurs à transfer de spin

Deep neural networks

Signaux radio-Fréquences

Spintronics

Neuromorphism

Artificial intelligence

Spin-Transfer torque oscillators

Deep neural networks

Radio-Frequency signals

Résumé

Aujourd'hui, l'intelligence artificielle bat des records dans la résolution de nombreux problèmes cognitifs. En raison de leur architecture Von Neumann, les ordinateurs actuels ne sont pas adaptés aux algorithmes d'intelligence artificielle et consomment beaucoup d'énergie. Pour réduire cette consommation d'énergie, il est possible de s'inspirer du cerveau : dans les puces neuromorphique, la mémoire et calcul se joignent dans des circuits constitués de neurones artificiels et de synapses disposés en réseau hiérarchique. Cependant, la mise en œuvre de réseaux de neurones artificiels sur des puces électroniques est difficile en raison de la très haute densité de connectivité synaptique requise : chaque neurone doit être connecté à des milliers d'autres neurones, ce qui conduit à des problèmes de connectivité. Pour surmonter ces limitations, une alternative consiste à utiliser des signaux radiofréquences pour propager l'information dans le réseau. Dans un tel réseau, il est possible d'utiliser des neurones artificiels avec des sortis codés en radiofréquence, et des synapses artificielles qui sélectionnent le signal d'entrée qu'elles transmettent en fonction de leur fréquence, améliorant ainsi le routage de l'information pour créer des réseaux à haute densité.Les dispositifs spintroniques sont très intéressants pour la communication de signaux radiofréquence en raison de leur faible consommation d'énergie, de leur large gamme de fréquences, de leur taille nanoscopique et de leur compatibilité avec les technologies industrielles existantes. Nous montrons ici que nous pouvons combiner des émetteurs radiofréquences spintroniques émulant des neurones et des récepteurs radiofréquences spintroniques émulant des synapses pour construire des réseaux neuromorphiques.Dans le cerveau, les neurones peuvent être considérés comme des oscillateurs à dynamique complexe. Nous démontrons expérimentalement que nous pouvons utiliser la dynamique des émetteurs radiofréquences spintroniques pour émuler un neurone et traiter des informations codées en radiofréquences afin de classer des motifs séquentiels.Dans les réseaux de neurones artificiels, le rôle des synapses est de pondérer l'information, et de la transmettre d'un neurone à l'autre. Nous prouvons expérimentalement qu'une chaîne de récepteurs radiofréquence spintroniques peut effectuer une somme pondérée sur plusieurs signaux radiofréquence. Pour prouver la validité de l'opération à plus grande échelle, nous faisons une étude analytique et numérique de cette opération comprenant les non-idéalités des dispositifs spintroniques.Pour résoudre des tâches complexes, les réseaux neuronaux artificiels nécessitent de nombreuses couches de neurones (réseaux neuronaux profonds). Nous montrons qu'un réseau neuronal profond peut être réalisé avec des émetteurs radiofréquences spintroniques comme neurones et des récepteurs de radiofréquences spintroniques comme synapses. Pour les réseaux de neurones convolutifs, dont l'architecture spécifique les rend efficaces pour le traitement d'images, nous présentons une architecture innovante permettant d'effectuer toutes les multiples opérations requises de manière hautement parallèle. Enfin, nous entraînons un réseau spintronique radiofréquence simulé pour classifier des images de chiffres manuscrits avec une précision de pointe.Ces résultats ouvrent de nouveaux horizons vers le traitement des signaux radiofréquence sur puce avec l'intelligence artificielle, et les réseaux neuronaux profonds très denses où l'information est propagée par les signaux radiofréquences.

Nowadays, Artificial Intelligence beats records at solving many cognitive problems. Due to their Von Neumann architecture, today's computers are not well suited for Artificial Intelligence algorithms and thus consume an extensive amount of power. To reduce this energy consumption, it is possible to take inspiration from the brain: Neuromorphic Computing chips merge memory and computing through circuits made of artificial neurons and synapses arranged in hierarchical a network. However, implementing artificial neural networks on electronic micro-chips is challenging because of the very high synaptic connectivity density required: each neuron needs to be connected to thousands of other neurons, which leads to a complex wiring. To overcome these limitations, an alternative is to use radio-frequency signals to propagate the information in the network. In such network, it is possible to use artificial neurons with radio-frequency-encoded signals, and artificial synapses that select the input signal they transmit based on their frequency, thus improving information routing for high density networks.Spintronic devices are very appealing for radio-frequency signal communication because of their low power consumption, their wide range of frequency, their nanoscopic size, and their compatibility with existing industrial technologies. Here, we show that we can combine spintronic radio-frequency emitters emulating neurons and spintronic radio-frequency receivers emulating synapses to build neuromorphic networks.In the brain, neurons can be seen as oscillators with complex dynamics. We demonstrate experimentally that we can use the rich dynamics of spintronic radio-frequency emitters to emulate a neuron and process radio-frequency-encoded information in order to classify patterns in a sequence.In artificial neural networks, the role of synapses is to weight the information, and to transmit it from one neuron to another. We prove experimentally that chains of spintronic radio-frequency receivers can operate weighted sums on multiple radio-frequency-encoded. To prove the validity of the operation at larger scale, we make an analytical and numerical study of this operation including devices non-idealities.To solve complex tasks, artificial neural networks require many layers of neurons (deep neural networks). We show that a deep neural network can be achieved with spintronic radio-frequency emitters as neurons and spintronic radio-frequency receivers as synapses. For convolutional neural networks, which have a specific architecture making them efficient for image processing, we present an innovative architecture to perform all the many required operations in a highly parallel manner. Finally, we train a simulated radio-frequency spintronic network to classify handwritten digit pictures with a state-of-the-art accuracy.These results open new horizons toward on-chip radio-frequency signal processing with Artificial Intelligence, and very dense deep neural networks where information is propagated through radio-frequency signals.