Stratégies d'apprentissage avancées pour réseaux neuronaux photoniques spatio-temporels

Advanced learning strategies for spatio-temporal photonic neural networks

• Auteur / Autrice : Anas Skalli
• Direction : Daniel Brunner
• Type : Thèse de doctorat
• Discipline(s) : Optique et photonique
• Date : Soutenance le 19/11/2024
• Etablissement(s) : Bourgogne Franche-Comté
• Ecole(s) doctorale(s) : École doctorale Sciences Physiques pour l'Ingénieur et Microtechniques (Besançon ; 1991-....)
• Partenaire(s) de recherche : Laboratoire : FEMTO-ST : Franche-Comté Electronique Mécanique Thermique et Optique - Sciences et Technologies (Besançon) - Franche-Comté Électronique Mécanique- Thermique et Optique - Sciences et Technologies (UMR 6174) / FEMTO-ST
• Partenaire(s) de recherche : établissement de préparation : Université de Franche-Comté (1971-....)
• Jury : Président / Présidente : Maxime Jacquot
• Jury : Examinateurs / Examinatrices : Demetri Psaltis
• Jury : Rapporteurs / Rapporteuses : Julie Grollier, Kelvin Wagner

Mots clés

Mots clés contrôlés

Lasers à semi-conducteur

Optique non linéaire

Apprentissage automatique

Algorithmes optimaux

Réseaux neuronaux (informatique)

Mots clés libres

Reseaux de neuronnes optiques

Algorithmes d'optimisation

Calcul par reservoir

Optical Neural Networks

Optimization algorithms

Reservoir computing

Machine learning

Nonlinear optics

Semiconductor Lasers

Résumé

Les réseaux de neurones artificiels (ANNs) sont devenus omniprésents et ont révolutionné de nombreuses applications allant de la vision par ordinateur aux diagnostics médicaux. Cependant, ils incarnent une approche fondamentalement connexionniste et parallèle au calcul, contrairement aux ordinateurs classiques qui utilisent l'architecture de von Neumann. Cette distinction a suscité un intérêt particulier pour le développement de nouveaux substrats pouvant offrir des implémentations plus efficaces des ANNs, plutôt que de les émuler sur des systèmes traditionnels. La photonique se distingue comme une plateforme particulièrement pertinente, alliant haute vitesse de calcul, efficacité énergétique et capacité à traiter l'information de manière parallèle. Cependant, les réseaux de neurones optiques (ONNs) entièrement autonomes et dotés de capacités d'apprentissage in-situ sont encore rares. Dans ce travail, nous démontrons un ONN entièrement autonome et parallèle utilisant un laser à cavité verticale à émission par la surface (VCSEL) multimode. Notre ONN est extrêmement efficace et évolutif, à la fois en termes de taille de réseau et de bande passante d'inférence, jusqu'à la gamme des GHz. En conséquence, des algorithmes d'optimisation compatibles avec ces systèmes à haute performance sont nécessaires pour minimiser la dépendance vis-à-vis d'ordinateurs externes et exploiter pleinement le potentiel des ONNs. À cet égard, nous présentons et étudions de manière approfondie plusieurs algorithmes compatibles avec une large gamme de systèmes. Nous appliquons ensuite ces algorithmes pour optimiser notre ONN et les évaluons à l'aide du jeu de données MNIST. Nous montrons que notre ONN peut atteindre une grande précision et converger efficacement, même avec des ressources matérielles limitées. Il est crucial de comparer ces différents algorithmes en termes de scalabilité et d'efficacité d'optimisation, ce qui est essentiel lorsque l'on travaille avec des ressources limitées. Notre travail fournit donc des directives pour la conception d'ONNs ainsi que des méthodes simples et flexibles pour les entraîner.

Artificial neural networks (ANNs), have become ubiquitous and revolutionized many applications ranging from computer vision to medical diagnoses. However, they offer a fundamentally connectionist and distributed approach to computing, in stark contrast to classical computers that use the von Neumann architecture. This distinction has sparked renewed interest in developing unconventional hardware to support more efficient implementations of ANNs, rather than merely emulating them on traditional systems. Photonics stands out as a particularly promising platform, providing scalability, high speed, energy efficiency, and the ability for parallel information processing. However, fully realized autonomous optical neural networks (ONNs) with in-situ learning capabilities are still rare. In this work, we demonstrate a fully autonomous and parallel ONN using a multimode vertical cavity surface emitting laser (VCSEL) using off-the-shelf components. Our ONN is highly efficient and is scalable both in network size and inference bandwidth towards the GHz range. High performance hardware-compatible optimization algorithms are necessary in order to minimize reliance on external von Neumann computers to fully exploit the potential of ONNs. As such we present and extensively study several algorithms which are broadly compatible with a wide range of systems. We then apply these algorithms to optimize our ONN, and benchmark them using the MNIST dataset. We show that our ONN can achieve high accuracy and convergence efficiency, even under limited hardware resources. Crucially, we compare these different algorithms in terms of scaling and optimization efficiency in term of convergence time which is crucial when working with limited external resources. Our work provides some guidance for the design of future ONNs as well as a simple and flexible way to train them.