Réseaux de neurones spatiaux récurrents : de l'électro-optique au tout-optique

Spatial recurrent neural networks : from electro-optical towards all-optical

• Auteur / Autrice : Louis Andreoli
• Direction : Daniel Brunner, Maxime Jacquot
• Type : Thèse de doctorat
• Discipline(s) : Optique et photonique
• Date : Soutenance le 17/03/2021
• Etablissement(s) : Bourgogne Franche-Comté
• Ecole(s) doctorale(s) : École doctorale Sciences pour l'ingénieur et microtechniques (Besançon ; 1991-....)
• Partenaire(s) de recherche : Laboratoire : FEMTO-ST : Franche-Comté Electronique Mécanique Thermique et Optique - Sciences et Technologies (Besançon) - Franche-Comté Électronique Mécanique- Thermique et Optique - Sciences et Technologies (UMR 6174) / FEMTO-ST
• Partenaire(s) de recherche : Etablissement de préparation : Université de Franche-Comté (1971-....)
• Jury : Président / Présidente : Maria-Pilar Bernal-Artajona
• Jury : Examinateurs / Examinatrices : Daniel Brunner, Maxime Jacquot, Maria-Pilar Bernal-Artajona, Claudio Conti, Antonio Hurtado Villavieja, Sylvain Gigan
• Jury : Rapporteurs / Rapporteuses : Claudio Conti, Antonio Hurtado Villavieja

Mots clés

Mots clés contrôlés

Réseaux neuronaux (informatique)

Mots clés libres

Réseaux de neurones optiques

Neuromorphique

Calcul à reservoir

Micropiliers lasers à boites quantiques

Dynamique non lineaire

Optique libre

Optical neural networks

Neuromorphic

Reservoir computing

Quantum dots micropillar lasers

Nonlinear dynamics

Free space optics

Résumé

Depuis ces dernières années, l'intelligence artificielle et plus particulièrement les réseaux de neurones jouent un rôle important dans nos sociétés.Cependant, les réseaux neuronaux sont émulés par ordinateurs, entraînant des problèmes complexes tels que la parallélisation, l'efficacité énergétique et potentiellement la vitesse des systèmes.Un changement de paradigme est alors souhaitable, mais la mise en oeuvre de réseaux de neurones textit{hardware} reste un réel défi.Les réseaux neuronaux optiques constituent une piste très prometteuse, permettant potentiellement de résoudre la difficulté de la parallélisation.Nous avons expérimentalement conçu le premier réseau spatial où les neurones et les connexions sont matériellement et parallèlement réalisés, nous permettant ainsi d'effectuer des expériences singulières.Ce réseau électro-optique est composé de 961 neurones.Les connexions neuronales réalisées par diffraction optique offrent au système une grande capacité d'évolution.L'architecture du réseau est basée sur le concept de textit{reservoir computing}, l'apprentissage consiste alors uniquement à optimiser les poids des connexion de sortie.La couche de sortie est réalisée par un dispositif à micro-miroir numérique, qui, une fois entraînée, présente l'avantage d'être totalement parallèle, passif, sans limitation de bande passante et donc ne consomme pas d'énergie.En utilisant une version optimisée d'un apprentissage évolutif, nous constatons que celui-ci converge parfaitement et son temps d'entraînement est linéaire avec la taille du réseau.Enfin, les principes fondamentaux d'un réseau de neurones tout optique ont été étudiées.Les neurones sont réalisés via une matrice de micro-piliers lasers à quantum dots.Une étude approfondie du pompage optique des micro-piliers lasers, offrant à terme une grande capacité d'évolution au réseau, a révélé une efficacité de pompage suffisamment élevée pour faire fonctionner de manière réaliste une centaine de neurones simultanément.

Since recent years artificial intelligence and more particularly neural networks play a major role in our technological societies.Nevertheless, neural networks still remain emulated by traditional computers, resulting in challenging problems such as parallelization, energy efficiency and potentially speed.A change of paradigm is desirable but implementing neural networks in hardware is a non-trivial challenge.One promising avenue is optical neural networks, potentially avoiding parallelization bottlenecks.We experimentally implemented the first system where nodes and connections are implemented in parallel hardware, and we exploit our novel system for unique experiments.The electro-optical neural network is composed of up to 961 neurons.Connections between neurons are implemented in fully parallel by optical diffraction, offering highly advantageous scalability.The network's architecture is based on the principle of reservoir computing, therefore the number of readout weights to be trained is simply the nodes number.The trainable output layer is realized by a digital micro-mirror device, which, once trained, has the advantage of being fully parallel, passive, and therefore without bandwidth limitation and energy consumption.Using a textit{Greedy} evolutionary learning, we find that the learning excellently converges.Furthermore, it appears to possess a conveniently convex-like cost-function and demonstrates exceptional scalability of the learning effort with system size.Finally, the fundamental bases of an all-optical neural network have been studied.Neurons will be implemented in an array of quantum dots micropillar lasers optically coupled.An in-depth study of the optical pumping of micropillar lasers, ultimately allowing a highly scalable system, has revealed a pumping efficiency high enough to realistically operate around a hundred neurons simultaneously.