Tirer parti de l'aléatoire (physique) dans les algorithmes d'apprentissage automatique

Leveraging (Physical) Randomness in Machine Learning Algorithms

• Auteur / Autrice : Ruben Ohana
• Direction : Florent Krzakala, Alessandro Rudi
• Type : Thèse de doctorat
• Discipline(s) : Physique
• Date : Soutenance le 16/09/2022
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Physique en Île-de-France (Paris ; 2014-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire de physique de l'ENS (Paris ; 2019-....)
• Jury : Président / Présidente : Julie Grollier
• Jury : Examinateurs / Examinatrices : Liva Ralaivola, Claire Boyer
• Jury : Rapporteurs / Rapporteuses : Rémi Gribonval, Joan Bruna

Mots clés

Mots clés contrôlés

Sécurité des systèmes

Réseaux neuronaux (informatique)

Aléatoire

Apprentissage automatique

Mots clés libres

Caractéristiques aléatoires

Calcul optique

Méthodes à noyau

Retour par alignement direct

Sécurité des systèmes

Transport optimal

Random features

Optical computing

Kernel methods

Direct feedback alignment

Security of systems

Optimal transport

Résumé

Dans cette thèse, nous tirerons parti de l’usage de l’aléatoire dans différents aspects de l’apprentissage automatique. Nous commencerons par montrer le lien entre le calcul par réservoir et les noyaux récurrents sous le prisme des caractéristiques aléatoires, et introduirons les transformées structurées afin d’améliorer la complexité computationnelle du calcul par réservoir. Par la suite, nous montrerons comment tirer parti de calculs optiques afin de mettre à l’échelle les caractéristiques aléatoires pour l’approximation de noyaux, à bas coût énergétique. Nous continuerons par montrer comment combiner le Processeur de Calcul Optique avec des méthodes d’entraînement alternatives à la rétropropagation du gradient tel que l’alignement par retour direct, afin de rendre adversariallement robuste des réseaux de neurones entraînés depuis le début ou d’augmenter la robustesse des défenses les plus robustes. Par ailleurs, nous entraînerons un réseau de neurones de façon optique et tirerons parti du bruit expérimental afin de démontrer comment cela induit une confidentialité différentielle. Nous finirons par utiliser les bornes PAC-Bayésiennes afin d’optimiser la distribution des projections aléatoires de la distance de Sliced-Wasserstein, tout en s’appuyant sur des fondations théoriques.

In this thesis, we will leverage the use of randomness in multiple aspects of machine learning. We will start by showing the link between reservoir computing and recurrent kernels through the lens of random features, and introduce structured transforms to improve the computational complexity of reservoir computing. We will then show how optical computing can help scaling-up random features for kernel approximation, at a low energy cost. We will continue by showing how to combine the Optical Processing Unit with training methods alternative to backpropagation such as Direct Feedback Alignment, to make adversarially robust networks trained from the beginning, or improve the robustness of state-of-the-art defenses. We will also train optically a neural network and show how the experimental noise yields differential privacy. We will finish by using PAC-Bayesian bounds to optimize the distribution of random projections of Sliced-Wasserstein distances while being theoretically grounded.