Les Mechanismes de la Compositionnalité dans l'Intelligence Artificielle et Humaine

Compositionality as a mechanism of intelligence in brains and machines

• Auteur / Autrice : Aimen Zerroug
• Direction : Thomas Serre, Nicholas Asher
• Type : Thèse de doctorat
• Discipline(s) : Informatique et Télécommunications
• Date : Soutenance le 01/12/2023
• Etablissement(s) : Toulouse 3
• Ecole(s) doctorale(s) : École doctorale Mathématiques, informatique et télécommunications (Toulouse)
• Partenaire(s) de recherche : Laboratoire : Institut de Recherche en Informatique de Toulouse (1995-....)
• Jury : Examinateurs / Examinatrices : Julie Hunter, Rufin VanRullen
• Jury : Rapporteur / Rapporteuse : Frédéric Alexandre, Nicolas Rougier

Mots clés

Mots clés contrôlés

Apprentissage profond

Intelligence artificielle

Compositionnalité

Mots clés libres

Sciences cognitives

Apprentissage profond

Neuroscience

Raisonnement visuel

Contrôle cognitif

Cognitive science

Deep learning

Neuroscience

Visual reasoning

Cognitive control

Résumé

L'intelligence humaine se caractérise par la flexibilité et la généralisation. La perception de nouveaux concepts et l'exécution de nouvelles tâches nécessitent souvent peu d'efforts si l'humain est familier avec des tâches et des concepts similaires. La compositionnalité a longtemps été théorisée comme une caractéristique fondamentale de l'intelligence humaine qui sous-tend ces capacités. Contrairement aux humains, les modèles d'apprentissage profond qui atteignent des performances supérieures à celles des humains sur de nombreuses tâches, souffrent du manque de généralisation et ont souvent du mal à s'adapter aux changements de tâches. De plus, les modèles qui présentent des capacités de généralisation modestes nécessitent de grandes quantités de données d'apprentissage. Ces mêmes modèles n'exploitent pas la compositionnalité dans l'apprentissage ou l'inférence. Cette thèse aborde d'abord les caractéristiques générales de l'intelligence humaine, puis se plonge dans la littérature de la compositionnalité en intelligence artificielle. Le résumé de ces découvertes met en lumière des lacunes dans ces domaines ; un aspect peu exploré de la compositionnalité en apprentissage automatique, spécifiquement, le rôle de la compositionnalité dans l'apprentissage, qui pourrait être utile pour la généralisation dans les modèles d'apprentissage profond. L'importance potentielle de la compositionnalité dans l'apprentissage a motivé l'étude de la capacité des modèles de réseaux neuronaux à décomposer les tâches en leurs composantes élémentaires et à composer les compétences apprises pour résoudre de nouvelles tâches. Ainsi, j'ai développé un test de raisonnement visuel qui évalue l'efficacité en terme de quantité de données et l'apprentissage compositionnel des modèles de vision standard. Les expériences montrent que même les modèles pré-entraînés nécessitent plus d'échantillons pour atteindre les performances humaines. De plus, même si les modèles de base sont capables de réutiliser les compétences apprises à partir de tâches élémentaires pour résoudre efficacement leurs compositions, ils ne décomposent pas les tâches apprises en leurs composantes élémentaires pendant l'apprentissage. Ces idées et résultats soulignent l'importance des stratégies d'apprentissage et de l'expérience dans la formation des systèmes d'apprentissage et leur impact sur l'intelligence. En conséquence, le dernier chapitre s'inspire de la fonction du cerveau et dérive des principes clés de conception de réseaux neuronaux pour faire avancer le domaine vers l'intelligence humaine. J'utilise ces principes pour proposer des méthodes de conception et d'entraînement de réseaux neuronaux basé sur la modularité, l'agence, le contrôle du temps et des ressources de calcul et l'apprentissage programmé. De plus, je propose un prototype démontrant ces méthodes ; une architecture modulaire polyvalente avec un contrôle sur ses calculs internes nommée AbstractNet. Les expériences et l'analyse d'AbstractNet montrent sa capacité à effectuer apprendre tâches hétérogènes et homogènes, à adapter le nombre de calculs aux exigences de la tâche et à utiliser des stratégies de routage diverses pour résoudre différentes tâches. En tant que preuve de concept, AbstractNet n'incorpore pas tous les principes de conception proposés. Il pourrait être enrichi de ces principes de conception pour acquérir des capacités de haut niveau telles que apprendre à apprendre et a concevoir et simuler un modèle de son environnement. En conclusion, ce travail présente une perspective sur la manière dont l'intelligence artificielle pourraient converger vers une intelligence de niveau humain.

Human intelligence is characterized by flexibility and generalization. Humans' perception of novel concepts and performance of new tasks often requires little effort if they have experienced similar concepts and tasks. Compositionality has long been theorized as a foundational characteristic of human intelligence that underlies these capacities. By contrast to humans, deep-learning models that achieve superhuman performance on many tasks lack in generalization and often fail to adapt to task changes. Furthermore, models that show modest generalization capabilities require large quantities of learning experience. Concurrently, these models do not leverage compositionality in learning or inference. This dissertation first discusses general characteristics of human intelligence and then delves into the literature on compositionality in AI. The summary of these findings brings to light gaps in these fields; a poorly explored aspect of compositionality in ML, namely the role of compositionality in learning, which could be crucial for generalization in deep learning models. The potential importance of compositionality in learning motivated the investigation of neural network models' capacity at decomposing tasks into their elementary components and composing learned skills to solve new tasks. Using visual reasoning as a test case, I developed a visual reasoning benchmark that evaluates the sample efficiency and compositional learning standard vision models. Experiments demonstrate that even pre-trained models require significantly more samples to reach human performance. Additionally, even though baseline models are capable of reusing skills learned from elementary tasks to solve their compositions efficiently, they do not decompose the learned tasks into their elementary components during learning. These ideas and findings highlight the importance of learning strategies and experience in shaping learning systems and their impact on intelligence. Accordingly, this work draws inspiration from brain function and derives key neural network design principles for advancing the field closer to human intelligence. I use these principles to propose a framework for neural network design and training based on modularity, agency, control over computational time and resources, and curriculum learning. Furthermore, I present a proof of concept of the framework; a general-purpose modular architecture with control over its internal computations named AbstractNet. Experiments and analysis of AbstractNet show its capacity for multi-tasking several heterogeneous and homogeneous tasks, adapting the number of computations to task demands, and using various routing strategies for solving different tasks. As a proof of concept, AbstractNet does not incorporate all design principles of the framework. It could be augmented with these design principles to implement high-level functions such as meta-learning and world models. In conclusion, this work presents a computational perspective on how artificial intelligence could converge towards human-level intelligence.