Stratégies d'apprentissage avancées pour réseaux neuronaux photoniques spatio-temporels

Advanced learning strategies for spatio-temporal photonic neural networks

• Auteur / Autrice : Anas Skalli
• Direction : Daniel Brunner
• Type : Projet de thèse
• Discipline(s) : Optique et photonique
• Date : Inscription en doctorat le 01/10/2020
• Etablissement(s) : Bourgogne Franche-Comté
• Ecole(s) doctorale(s) : SPIM - Sciences Physiques pour l'Ingénieur et Microtechniques
• Partenaire(s) de recherche : Laboratoire : Franche Comté Electronique Mécanique Thermique et Optique - Sciences et Technologies
• Partenaire(s) de recherche : Equipe de recherche : Département d'Optique
• Partenaire(s) de recherche : établissement de préparation : Université de Franche-Comté (1971-....)

Mots clés

Mots clés libres

Reseaux de neuronnes optiques

Algorithmes d'optimisation

Calcul par reservoir

Apprentissage automatique

Optique nonlinéaire

Lasers à semiconducteurs

Optical Neural Networks

Optimization algorithms

Reservoir computing

Machine learning

Nonlinear optics

Semiconductor Lasers

Résumé

La mise en œuvre de réseaux de neurones dans des substrats physiques est considérée comme l'un des défis les plus importants pour la prochaine génération de matériel informatique. Actuellement, les réseaux neuronaux sont principalement émulés sur des systèmes en série, numériques et électroniques. Toutefois, sur le plan conceptuel, il s'agit de réseaux d'éléments non linéaires à grande échelle et entièrement parallèles. La photonique excelle dans la mise en œuvre de tels réseaux parallèles, et FEMTO-ST figure parmi les leaders mondiaux dans ce domaine à fort impact et à haute visibilité. Bien que la majorité des efforts soient consacrés au développement de la prochaine génération de matériel, des questions fondamentales concernant l'apprentissage dans ces systèmes restent sans réponse et sont, de manière surprenante, à peine prises en compte. Il s'agit là d'une lacune stratégique, car l'apprentissage dans des systèmes bruyants et analogues présentera très probablement un comportement sensiblement différent et nécessitera des stratégies spécifiquement développées pour ces systèmes.M. Skalli développera un réseau neuronal photonique qui sera basé sur des lasers multimodes mettant en œuvre des neurones. Ce système est le banc d'essai parfait pour comprendre systématiquement l'interaction entre le bruit, les restrictions matérielles physiques et l'apprentissage par réseau neuronal. Le système ainsi construit sera performant, rapide et efficace energetiquement ce qui lui permettra de réaliser une analyse statistique des trajectoires d'apprentissage des réseaux neuronaux analogiques.

The implementation of Neural Networks in physical substrates is considered one of the most important challenges for next generation computing hardware. Currently, Neural Networks are mostly emulated on serial, digital and electronic systems. However, conceptually they are large scale and fully parallel networks of nonlinear elements. Photonics excels at the implementation of such parallel networks, and FEMTO-ST is among the world leaders in this high impact and high visibility field. While the majorityof efforts is placed on the development of next generation hardware, fundamental questions regarding learning in such systems remain unanswered and are, surprisingly, hardly considered. This is a strategic shortcoming, since learning in noisy and analoguesystems will most likely exhibit significantly different behaviour and requires strategies specifically developed for such systems.Mr. Skalli will develop a photonic neural network based on multimode lasers implementing neurons. This system is the perfect test bed for systematically understanding the interplay between noise, physical hardware restrictions and neural network learning properties, levaraging high performance substrates with high bandwith and low energy concumption. This system, will also enable him to carry out statistical analysis of learning trajectories of analogue neural networks.