Apprentissage et échantillonnage de paysages énergétiques complexes avec des machines de Boltzmann restreintes : de la théorie à la fitness de la protéine TEM-1

Learning and sampling complex landscapes with restricted Boltzmann machines : from theory to the fitness of the TEM-1 protein

• Auteur / Autrice : Clément Roussel
• Direction : Simona Cocco, Rémi Monasson
• Type : Thèse de doctorat
• Discipline(s) : Physique
• Date : Soutenance le 02/12/2021
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : École doctorale Physique en Île-de-France (Paris ; 2014-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire de physique de l'ENS (Paris ; 2019-....)
• Partenaire(s) de recherche : établissement opérateur d'inscription : École normale supérieure (Paris ; 1985-....)
• Jury : Président / Présidente : François Coste
• Jury : Examinateurs / Examinatrices : Simona Cocco, Rémi Monasson, François Coste, Eugene I. Shakhnovich, Adriano Barra, Anne-Florence Bitbol, Aurélien Decelle
• Jury : Rapporteurs / Rapporteuses : Eugene I. Shakhnovich, Adriano Barra

Mots clés

Mots clés contrôlés

Physique

Mots clés libres

Machines de Boltzmann Restreintes

Échantillonage

Apprentissage de représentations

Βeta-lactamases

TEM-1

Épistasie

Restricted Boltzmann Machines

Sampling

Representation learning

Βeta-lactamases

TEM-1

Epistasis

Résumé

Tout au long de cette thèse de doctorat, nous étudierons les propriétés d'échantillonnage des machines de Boltzmann restreintes (RBM), des réseaux de neurones à deux couches utilisés pour l'apprentissage non supervisé de distributions de modèles à partir de données. Dans le cas de l'algorithme d'échantillonnage canonique de ce réseau de neurones, l'échantillonnage alterné de Gibbs, nous montrerons qu'il est possible de trouver des trajectoires optimales entre des minima locaux du paysage énergétique, mais que ces trajectoires passent par de grandes barrières d'énergie libre. Le temps caractéristique pour passer d'un minimum à l'autre est exponentiel dans la taille du système. Par conséquent, cet algorithme est tout aussi inefficace qu'un échantillonnage naïf basé sur l'algorithme de Metropolis-Hastings. Nous allons montrer qu'il est possible d'utiliser les représentations apprises par les machines de Boltzmann restreintes pour accélérer l'échantillonnage. Lorsque les unités cachées codent des caractéristiques essentiellement indépendantes des données, ou sont corrélées par blocs de faible dimension, la mise à jour d'une, ou d'un petit nombre d'unités cachées avec l'algorithme de Metropolis-Hastings dans l'espace caché permet un changement macroscopique des unités visibles et offre un mélange rapide entre les minima. Dans le cas d'une représentation intriquée, l'utilisation d'une pile de RBM couplées via l'algorithme de Deep Tempering améliore l'échantillonnage. Nous nous intéresserons également à la protéine beta-lactamase TEM-1 et montrerons que la plupart des mutations présentent un schéma macroscopique d'épistasie qui peut être capturé par un modèle biophysique simple de stabilité des protéines, qui prédit l'émergence de l'épistasie sur la base des effets additifs de la mutation sur la stabilité globale de la protéine. Nous utiliserons de plus des modèles issus de la physique statistique, comme les RBM entrainées sur des alignements de séquences, pour étudier théoriquement les effets de ces mutations et identifier des groupes d'amino-acides encodant des fonctionnalités particulières de la classe A des beta-lactamase.

Throughout this Ph.D. thesis, we will study the sampling properties of Restricted Boltzmann Machines (RBM), bi-layer neural networks used for the unsupervised learning of model distributions from data. In the case of the canonical sampling algorithm of this neural network, the Alternating Gibbs Sampling, we will show that it is possible to find optimal trajectories between local minima of the energy landscape, but that these trajectories pass through large free energy barriers. The characteristic time to go from one minimum to another is exponential in the size of the system. Therefore, this algorithm is just as inefficient as a naive sampling based on the Metropolis-Hastings algorithm. We will show that using the representations learned by the Restricted Boltzmann Machines is possible to speed up the sampling. When hidden units encode essentially independent data features or are low dimensional block-correlated, updating of one or a small number of hidden units with Metropolis-Hastings algorithm in the hidden space allows for a macroscopic change of visible units and offers rapid mixing between minima. Furthermore, using a stack of coupled RBM via the Deep Tempering algorithm improves the sampling in the case of entangled representation. We will also focus our interest on beta-lactamase TEM-1 protein and show that most mutations have a macroscopic pattern of epistasis which can be captured by a simple biophysical model of protein stability that predicts the emergence of epistasis based on the additive effects of mutation on the overall stability of the protein. We will also use models from statistical physics, such as RBM trained on sequence alignments, to theoretically study the effects of these mutations and identify amino acid clusters encoding particular functionalities of the class A beta-lactamases.