Deep learning et neurosciences : une alliance faite au paradis ?

Deep learning and neuroscience : a match made in heaven?

• Auteur / Autrice : Bhavin yogesh Choksi
• Direction : Leila Reddy, Rufin VanRullen
• Type : Thèse de doctorat
• Discipline(s) : Neurosciences
• Date : Soutenance le 20/10/2022
• Etablissement(s) : Toulouse 3
• Ecole(s) doctorale(s) : École doctorale Comportement, Langage, Éducation, Socialisation, Cognition (Toulouse)
• Partenaire(s) de recherche : Laboratoire : Centre de recherche Cerveau et Cognition (Toulouse ; 1993-....)
• Jury : Président / Présidente : Laurent Perrinet
• Jury : Examinateurs / Examinatrices : Gemma Roig
• Jury : Rapporteurs / Rapporteuses : Umut Güçlü

Mots clés

Mots clés contrôlés

Apprentissage profond

Neurosciences

Apprentissage automatique

Mots clés libres

Machine learning

Analyse IRMf

Deep learning

Neuroscience

Analysis

Deep learning

Neuroscience

FMRI

Résumé

Deep Learning, en tant que domaine, a essayé de construire des réseaux capables d'effectuer des tâches intelligentes que seuls les humains pouvaient auparavant effectuer. Ce faisant, l'objectif fixé est ambitieux puisqu'il s'agit de créer une machine consciente, communément appelée intelligence artificielle (IA). Jusqu'à présent, le Deep Learning est efficace pour une série de tâches telles que la classification, le sous-titrage, la traduction, etc. Mais il reste encore beaucoup plus à souhaiter de ces réseaux. Leur sensibilité à de très petites perturbations dans les inputs --- appelées perturbations adversaires --- a déconcerté le domaine depuis près d'une décennie. De même, la capacité de généralisation des réseaux à d'autres tâches et catégories est une limite activement étudiée. En parallèle, les neurosciences ont cherché à comprendre le réseau le plus complexe que nous connaissions : le cerveau humain. Dans cette quête, les neurosciences se sont souvent appuyées sur l'utilisation de modèles de substitution, mathématiques ou biologiques, plus faciles à expérimenter et à comprendre. Mais jusqu'ici, les neurosciences manquaient d'un modèle apte à poser des questions allant au-delà des cytoarchitectures neuronales et des synapses ; en particulier ceux concernant la structure des représentations abstraites dans le cerveau. Enquêter sur une question comme - Comment un humain apprend ou même représente un concept tel que la mort et le relie à la peur et à la tristesse ?} est resté difficile même en utilisant d'autres primates tels que le singe macaque. Ce travail de thèse soutient que ces deux domaines- le Deep Learning et les neurosciences- qui ont historiquement toujours été pertinents l'un pour l'autre, peuvent même maintenant s'entraider. Pour illustrer cela, cette thèse propose d'abord d'utiliser les dynamiques récurrentes, un concept issu des neurosciences, au profit des modèles de machine learning. En particulier, le predictive coding, une théorie neuro-computationnelle populaire, est implémentée dans des deep neural networks. Il démontre que les réseaux récurrents résultants sont plus robustes à divers types de bruit, naturels et adversaires, par rapport à leurs homologues à anticipation. Il est important de noter que cette robustesse est obtenue grâce à la capacité de la dynamique de predictive coding à aider les réseaux à projeter les représentations bruitées vers leurs versions propres qui sont apprises pendant l'entraînement - une propriété appelée ''projection vers la courbe'' . Deuxièmement, en sens inverse, nous utilisons les réseaux de neurones au profit des neurosciences. Tout d'abord, nous comparons divers réseaux formés avec différents objectifs --- uni ou multimodalité, robustesse ou tailles d'ensembles de données --- dans leur capacité à expliquer l'activité cérébrale mesurée à l'aide de l'imagerie par résonance magnétique fonctionnelle, ou IRMf. La thèse rapporte ensuite l'étrange capacité des réseaux multimodaux, c'est-à-dire des réseaux entraînés avec des ensembles de données couvrant diverses modalités, à expliquer l'activité de l'hippocampe --- une région connue pour posséder des concept cells invariantes de modalité. Plus tard, nous utilisons une approche indépendante de la région consistant à examiner systématiquement de plus petites portions de voxels dans le cerveau. En utilisant une telle approche basée sur un ''searchlight'', nous rapportons que par rapport à d'autres modèles, les réseaux multimodaux expliquaient mieux l'activité IRMf dans tout le cortex visuel, tout en expliquant également les régions entourant le sillon temporal supérieur. Ainsi, dans l'ensemble, dans cette ambition globale de combler le fossé entre les deux domaines, une aspiration également nourrie par une communauté émergente de l'équipe NeuroAI, cette thèse tente de fournir des raisons supplémentaires pour lesquelles les deux domaines pourraient être un couple complémentaire parfait.

Deep Learning, as a field has tried to build networks that can perform intelligent tasks that previously only humans could perform. While doing this, the field sets an ambitious goal of creating a conscious machine, often symbolized by it's other name -- Artificial Intelligence (AI). Up until now, it has been quite successful in making networks good at a few tasks such as classification, captioning, translation, etc. But still, there remains a lot more desired in these networks. Their sensitivity to very tiny perturbations in the input examples---called adversarial perturbations---has baffled the field since almost a decade. Similarly, the generalization ability of the networks to other tasks and categories is another problem that is actively under investigation. At the same time, Neuroscience has aimed to understand the most profound network known to us---the human brain. For this quest, it has often relied on using substitute models, mathematical or biological, which are easier to experiment with and understand. But so far, Neuroscience has lacked an apt model to ask questions that go beyond neuronal cytoarchitectures and synapses; especially those regarding the structure of abstract representations in the brain. Investigating a question like extit{How a human learns or even represents a concept such as Death and links it to fear and sadness?} has remained challenging even using other primates such as macaque monkey. The current thesis argues that these two fields, which have historically always been relevant for each other, can even now help each other in these regards. To illustrate this, the thesis first proposes recurrent dynamics for machine learning models using concepts from neuroscience, specifically a popular neurocomputational theory called predictive coding, and implements them into deep neural networks. It demonstrates that the resulting recurrent networks are more robust to various types of noise, natural and adversarial, when compared to their feedforward counterparts. Importantly, it reports that this robustness is achieved by the ability of the predictive coding dynamics to help the networks extit{project} the noisy representations towards their clean versions that are learned during training -- a property labeled as extit{projection towards the manifold.} Second, going in the reverse direction, it uses neural networks for the benefit of neuroscience. First it compares various networks trained with different objectives---uni- or multimodality, robustness, or dataset sizes---in their ability to explain brain activity measured using functional Magnetic Resonance Imaging, or fMRI. The thesis then reports the uncanny ability of multimodal networks, i.e., networks trained with datasets spanning various modalities, to explain the activity of hippocampus---a region known to possess modality invariant concept cells. Later, it uses a region agnostic approach of sytematically looking at smaller portions of voxels in the brain. Using such a searchlight-based approach, it reports that compared to other models, multimodal networks explained the fMRI activity better throughout the visual cortex, while also explaining the regions surrounding superior temporal sulcus. Thus, overall in this overarching ambition of bridging the gap between the two fields, an aspiration also harboured by an emerging community of NeuroAI, the current thesis attempts to provide additional reasons as to why the two could be a perfect couple.