Thèse soutenue

Les Mechanismes de la Compositionnalité dans l'Intelligence Artificielle et Humaine

FR  |  
EN
Auteur / Autrice : Aimen Zerroug
Direction : Thomas SerreNicholas Asher
Type : Thèse de doctorat
Discipline(s) : Informatique et Télécommunications
Date : Soutenance le 01/12/2023
Etablissement(s) : Toulouse 3
Ecole(s) doctorale(s) : École doctorale Mathématiques, informatique et télécommunications (Toulouse)
Partenaire(s) de recherche : Laboratoire : Institut de Recherche en Informatique de Toulouse (1995-....)
Jury : Examinateurs / Examinatrices : Julie Hunter, Rufin VanRullen
Rapporteurs / Rapporteuses : Frédéric Alexandre, Nicolas Rougier

Résumé

FR  |  
EN

L'intelligence humaine se caractérise par la flexibilité et la généralisation. La perception de nouveaux concepts et l'exécution de nouvelles tâches nécessitent souvent peu d'efforts si l'humain est familier avec des tâches et des concepts similaires. La compositionnalité a longtemps été théorisée comme une caractéristique fondamentale de l'intelligence humaine qui sous-tend ces capacités. Contrairement aux humains, les modèles d'apprentissage profond qui atteignent des performances supérieures à celles des humains sur de nombreuses tâches, souffrent du manque de généralisation et ont souvent du mal à s'adapter aux changements de tâches. De plus, les modèles qui présentent des capacités de généralisation modestes nécessitent de grandes quantités de données d'apprentissage. Ces mêmes modèles n'exploitent pas la compositionnalité dans l'apprentissage ou l'inférence. Cette thèse aborde d'abord les caractéristiques générales de l'intelligence humaine, puis se plonge dans la littérature de la compositionnalité en intelligence artificielle. Le résumé de ces découvertes met en lumière des lacunes dans ces domaines ; un aspect peu exploré de la compositionnalité en apprentissage automatique, spécifiquement, le rôle de la compositionnalité dans l'apprentissage, qui pourrait être utile pour la généralisation dans les modèles d'apprentissage profond. L'importance potentielle de la compositionnalité dans l'apprentissage a motivé l'étude de la capacité des modèles de réseaux neuronaux à décomposer les tâches en leurs composantes élémentaires et à composer les compétences apprises pour résoudre de nouvelles tâches. Ainsi, j'ai développé un test de raisonnement visuel qui évalue l'efficacité en terme de quantité de données et l'apprentissage compositionnel des modèles de vision standard. Les expériences montrent que même les modèles pré-entraînés nécessitent plus d'échantillons pour atteindre les performances humaines. De plus, même si les modèles de base sont capables de réutiliser les compétences apprises à partir de tâches élémentaires pour résoudre efficacement leurs compositions, ils ne décomposent pas les tâches apprises en leurs composantes élémentaires pendant l'apprentissage. Ces idées et résultats soulignent l'importance des stratégies d'apprentissage et de l'expérience dans la formation des systèmes d'apprentissage et leur impact sur l'intelligence. En conséquence, le dernier chapitre s'inspire de la fonction du cerveau et dérive des principes clés de conception de réseaux neuronaux pour faire avancer le domaine vers l'intelligence humaine. J'utilise ces principes pour proposer des méthodes de conception et d'entraînement de réseaux neuronaux basé sur la modularité, l'agence, le contrôle du temps et des ressources de calcul et l'apprentissage programmé. De plus, je propose un prototype démontrant ces méthodes ; une architecture modulaire polyvalente avec un contrôle sur ses calculs internes nommée AbstractNet. Les expériences et l'analyse d'AbstractNet montrent sa capacité à effectuer apprendre tâches hétérogènes et homogènes, à adapter le nombre de calculs aux exigences de la tâche et à utiliser des stratégies de routage diverses pour résoudre différentes tâches. En tant que preuve de concept, AbstractNet n'incorpore pas tous les principes de conception proposés. Il pourrait être enrichi de ces principes de conception pour acquérir des capacités de haut niveau telles que apprendre à apprendre et a concevoir et simuler un modèle de son environnement. En conclusion, ce travail présente une perspective sur la manière dont l'intelligence artificielle pourraient converger vers une intelligence de niveau humain.