Modélisation des cellules de la couche intermédiaire de la rétine dans le traitement des images naturelles

Modelling middle layer cells in the visual processing of natural images in the retina

• Auteur / Autrice : Tom Quétu
• Direction : Matias Goldin
• Type : Projet de thèse
• Discipline(s) : Neurosciences
• Date : Inscription en doctorat le 01/10/2024
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Cerveau, cognition, comportement
• Partenaire(s) de recherche : Laboratoire : Institut de la Vision
• Partenaire(s) de recherche : Equipe de recherche : Transmission de l'information visuelle : codage et restauration visuelle

Mots clés

Mots clés libres

Traitement de l'information visuelle

Rétine

Cellule bipolaire

Modélisation

Réseau neuronal convolutif

Visual Information Processing

Retina

Bipolar cells

Modelling

Convolutional neural network

Résumé

Notre objectif est de trouver la correspondance précise entre les couches intermédiaires cachées d'un deep convolutional neural network (DCNN) et les couches intermédiaires de la rétine. Pour ce faire, notre objectif est de décomposer le circuit rétinien pour comprendre comment la rétine peut extraire des caractéristiques complexes en réponse à des images naturelles. Il est difficile d'accéder aux couches intermédiaires avec des outils classiques. Nous nous appuierons sur une combinaison de modélisation et de nouvelles techniques (stimulation holographique et de substitution silencieuse combinée à l'optogénétique) pour manipuler/stimuler des cellules spécifiques, c'est-à-dire les cellules bipolaires (BC), dans les couches intermédiaires de la rétine, tout en enregistrant les cellules ganglionnaires de la rétine (RGC), la couche de sortie. Grâce à ces outils, nous surmonterons le défi de manipuler avec de la lumière un tissu qui est intrinsèquement sensible à la lumière. Ces données nous fourniront de nouvelles possibilités pour identifier les nœuds internes d'un modèle DCNN. Contexte : Des travaux antérieurs (Tanaka et al., 2019 ; Maheswaranathan et al., 2018 ; Freeman et al., 2015) ont tenté de déduire la contribution des BC à partir d'enregistrements et de modélisations des RGC, avec parfois des enregistrements intracellulaires d'une BC et des enregistrements simultanés de réseaux multi-électrodes (MEA) (Asari et al., 2014), où ils ont essayé de corréler l'activité d'une BC avec l'activité des couches cachées dans le modèle. Cependant, ces études ne disposaient pas d'une technique précise pour effectuer des perturbations causales sur le réseau rétinien, mesurer l'impact sur la couche de sortie et comparer ces données aux prédictions du DCNN. Dans (Goldin et al., 2022), nous avons utilisé le DCNN pour modéliser la rétine qui se généralise à travers les stimuli et prédit l'effet des manipulations pharmacologiques. Nous avons trouvé une relation générale entre la première couche du DCNN et différents types de BC, ce qui nous a permis de comprendre comment le circuit rétinien parvenait à calculer une caractéristique complexe : le contraste. Il s'agit d'une première étape dans l'établissement d'une correspondance entre les éléments du DCNN et la rétine. Méthodologie : Tout d'abord, nous isolerons fonctionnellement un seul type de RGC que nous modéliserons à l'aide d'un DCNN avec des données expérimentales où les RGC répondent à des images naturelles. Une deuxième étape consistera à fournir des stimulations optogénétiques ciblées à la BC qui fournit la plupart des entrées aux RGC afin de comprendre comment un seul type de cellule dans le circuit rétinien contribue aux réponses des RGC. Nous développerons une nouvelle méthode d'ajustement hétérogène pour apprendre un DCNN qui prend en compte les réponses à la fois aux stimuli visuels et à ces stimulations des couches intermédiaires. Enfin, pour tester et valider le DCNN, nous ciblerons par optogénétique ces mêmes cellules pour les inactiver lors d'une stimulation visuelle dans laquelle des images sont présentées à l'entrée. Un nouveau défi et le principal développement du projet sera d'adapter le DCNN pour inclure des données hétérogènes dans l'entraînement : des perturbations dans les unités de la couche cachée du modèle, ainsi que des stimulations visuelles typiques. Cela nous permettra de localiser et de comprendre comment les perturbations expérimentales utilisant l'optogénétique s'inscrivent dans les couches cachées du modèle informatique. Bibliographie : - Tanaka et al., 2019 : https://pubmed.ncbi.nlm.nih.gov/35283616 - Maheswaranathan et al., 2018 : https://doi.org/10.1371/journal.pcbi.1006291 - Freeman et al., 2015 : https://doi.org/10.7554/eLife.05241 - Asari et al., 2014 : https://doi.org/10.1016/j.neuron.2013.11.029 - Goldin et al., 2022 : https://doi.org/10.1038/s41467-022-33242-8

Our purpose is to find the precise correspondence between the hidden intermediate layers of a deep convolutional neural network (DCNN) and the intermediate layers of the retina. To achieve this, our objective is to decompose the retinal circuit to understand how the retina can extract complex features in response to natural images. Accessing intermediate layers with classical tools is challenging. We will rely on a combination of modeling and on novel techniques (holographic and silent substitution stimulation combined with optogenetics) to manipulate/stimulate specific cells, i.e. bipolar cells (BC), in the intermediate layers of the retina, while recording retinal ganglion cells (RGC), the output layer. With these tools we will overcome the challenge of manipulating with light a tissue that is intrinsically light-sensitive. These data will give us novel constraints to identify the inner nodes of a DCNN model. Context: Previous works (Tanaka et al., 2019; Maheswaranathan et al., 2018; Freeman et al., 2015) tried to infer the contribution of BC from RGC recordings and modeling, with sometimes intracellular recordings of one BC and simultaneous multielectrode array (MEA) recording (Asari et al., 2014), where they tried to correlate the activity of one BC with the activity of hidden layers in the model. However, these studies did not have a precise technique to make causal perturbations on the retinal network, measure the impact on the output layer, and compare these data to DCNN predictions. In (Goldin et al., 2022) we used DCNN to model the retina that generalize across stimuli and predict the effect of pharmacological manipulations. We found a general relation between the first DCNN layer and different types of BC, which allowed us to understand how the retinal circuit achieved to compute a complex feature: contrast. This provides a preliminary step in matching DCNN elements and the retina. Methodology : First, we will functionally isolate a single RGC type that we will model using a DCNN with experimental data where RGC respond to natural images, a second step will consist in providing optogenetically targeted stimulations to the BC that provide most of the inputs to the RGC to understand how a single cell type in the retinal circuit contributes to the RGC responses. We will develop a novel heterogenous fitting method to learn a DCNN that takes into account the responses to both visual stimuli and to these stimulations of intermediate layers. Finally, to test and validate the DCNN, we will optogenetically target these same cells to inactivate them during visual stimulation in which images are presented at the input. A new challenge and the main development of the project will be to adapt DCNN to include heterogeneous data in the training: perturbations in the hidden layer units of the model, together with typical visual stimulation. This will allow us to locate and understand how the experimental perturbations using optogenetics map into the inner-hidden layers of the computational model. Bibliography : - Tanaka et al., 2019 : https://pubmed.ncbi.nlm.nih.gov/35283616 - Maheswaranathan et al., 2018 : https://doi.org/10.1371/journal.pcbi.1006291 - Freeman et al., 2015 : https://doi.org/10.7554/eLife.05241 - Asari et al., 2014 : https://doi.org/10.1016/j.neuron.2013.11.029 - Goldin et al., 2022 : https://doi.org/10.1038/s41467-022-33242-8