Apprentissage profond supervisé et non supervisé à l'aide de mémoires associatives denses et de processus d'apprentissage profond classiques

Supervised-unsupervised deep learning using dense associative memories and classical deep learning processes

• Auteur / Autrice : Kevin Kana nguimfack
• Direction : Jacques Bahi
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 01/10/2022
• Etablissement(s) : Bourgogne Franche-Comté
• Ecole(s) doctorale(s) : SPIM - Sciences Physiques pour l'Ingénieur et Microtechniques
• Partenaire(s) de recherche : Laboratoire : Franche Comté Electronique Mécanique Thermique et Optique - Sciences et Technologies
• Partenaire(s) de recherche : Equipe de recherche : DISC - Département Informatique et Systèmes Complexes
• Partenaire(s) de recherche : établissement de préparation : Université de Franche-Comté (1971-....)

Mots clés

Mots clés libres

Apprentissage profond

Apprentissage non-supervisé

MAD(Mémoires associatives denses )

Fonction energie

État stable

Apprentissage supervisé

Deep Learning

Unsupervised learning

DAM (Dense associative memories)

Enery function

Stable state

Supervised learning

Résumé

Contexte scientifique : ---------------------- L'apprentissage profond est l'un des domaines scientifiques les plus passionnants de la décennie, il est considéré comme le fer de lance de l'intelligence artificielle. Il a été appliqué avec succès à de nombreux problèmes difficiles tels que la reconnaissance d'images et de vidéos, la reconnaissance de la parole, la détection de maladies, etc. En gros, l'apprentissage profond supervisé, tel qu'il est principalement utilisé, est essentiellement un processus d'approximation pour résoudre les tâches de régression et de classification, ceci sur la base de données échantillons, en utilisant des réseaux neuronaux profonds à couches multiples en mode feedforward. Les algorithmes d'optimisation du gradient et leurs variantes sont généralement au cœur de ces approximations : les gradients sont calculés par la technique de rétropropagation qui est la technique pilier des architectures d'apprentissage profond. Pour que les architectures d'apprentissage profond fonctionnent bien, il doit y avoir une énorme quantité de données d'entraînement, et les données de test doivent être assez similaires aux données d'entraînement, en effet, les réponses sont des interpolations entre les données d'entraînement. Contrairement au cerveau humain, l'apprentissage profond classique est avide de données et a du mal avec les ensembles de données de taille moyenne, il échoue aux défis qui ne sont pas proches de ses données d'entraînement de base et est vulnérable aux attaques adverses. Malgré tous ces inconvénients, l'apprentissage profond supervisé reste un outil efficace lorsque de grandes quantités de données sont disponibles dans des problèmes de classification ou de régression. Cet outil doit peu à peu être enrichi par d'autres approches. A côté de l'apprentissage supervisé, il existe des approches d'apprentissage non supervisé. Nous proposons dans ce projet de thèse de construire de nouvelles architectures qui mélangent les architectures supervisées standard et les architectures non supervisées, afin de tirer le meilleur de chaque approche. Les réseaux Hopfield sont des mémoires associatives denses et sont des réseaux non supervisés qui connaissent actuellement un nouvel intérêt. En effet, contrairement aux anciens réseaux Hopfield [3], [4], les réseaux Hopfield modernes n'ont pas de problème de capacité de stockage et sont continus et différentiables par rapport à leurs paramètres, ce qui les rend aptes à être intégrés dans des architectures profondes classiques feedforward. L'apprentissage moderne de Hopfield est basé sur une fonction d'énergie (fonction de Lyapunov). Dans un article récent [10], les auteurs ont proposé une nouvelle fonction d'énergie qui est monotone décroissante, permet un stockage à très haute capacité et ont déduit une règle d'apprentissage de mise à jour qui converge vers un état stable (soit un état fixe, soit un cycle). Leur travail est mathématiquement prouvé de manière rigoureuse. Ensuite, ils proposent 3 types de couches Hopfield qui peuvent être intégrées dans des architectures classiques d'apprentissage profond, ils soulignent également par des expériences, les performances remarquables lors de l'intégration de telles couches Hopfield dans une approche classique d'apprentissage profond feedforward. Des comparaisons avec des méthodes bien connues et efficaces telles que LSTM, XGboost ou K-means sont effectuées. Objectifs de la thèse : --------------------- L'objectif de ce projet de thèse est de faire l'état de l'art des quelques approches mixtes supervisées/non supervisées existantes et de proposer de nouvelles architectures qui contribuent à cette thématique montante. Les revendications doivent être prouvées, des implémentations sur des problèmes significatifs de biologie, d'épidémiologie, de pharmacologie et de physique doivent être menées pour comparer expérimentalement les architectures et algorithmes proposés à des algorithmes classiques bien connus. Outre l'originalité, l'efficacité et la robustesse des nouvelles architectures par rapport aux architectures traditionnelles d'apprentissage profond, la plausibilité biologique du processus proposé sera également discutée. En effet, si l'on compare avec le cerveau humain, on sait que la règle de Hebb implique que les changements de la force de la synapse devraient dépendre uniquement des activités des neurones synaptiques locaux. En d'autres termes, les réponses des neurones biologiques sont régies par une procédure de changement de synapse qui est physiquement locale et donc descriptible par un calcul mathématique local. Mais les techniques d'apprentissage supervisé avec l'algorithme de rétropropagation nécessitent des quantités massives de données étiquetées et une règle d'apprentissage non locale pour modifier la force des synapses : la technique de rétropropagation est biologiquement peu plausible. À l'inverse, l'apprentissage avec les réseaux Hopfield semble être plus plausible d'un point de vue biologique, comme l'explique [9]. Ce dernier argument a contribué à l'orientation que nous souhaitons donner à cette thèse. Concrètement, après avoir fait un tour d'horizon de l'état de l'art dans les approches feedforward et celles à mémoire associative dense, le chercheur devra: - Indiquez les avantages et les inconvénients des approches basées sur le gradient et celles basées sur la fonction énergétique. - Expliquez l'avantage d'intégrer des couches de mémoire associative dense dans les architectures à anticipation et expliquez comment réaliser cette opération en termes de manipulations tensorielles (vectorielles). - Prouvez les résultats établis. - Donnez les détails de la mise en œuvre des architectures mixtes. - Comparer numériquement les performances et la robustesse des approches proposées avec d'autres approches proposées dans la littérature. Différents jeux de données issus de divers problèmes scientifiques tels que la Classification du répertoire immunitaire et sur les collections de benchmarks de l'UCI [5] doivent être testés et comparés aux autres méthodes. -

Scientific framework: -------------------- Deep learning is one of the most exciting scientific fields of the decade, it is considered as the spearhead of artificial intelligence. It was successfully applied to many challenging problems such as recognizing images and videos, recognizing speech, disease detection and so-on. Roughly speaking, supervised deep learning, as it is primarily used, is essentially an approximation process for solving regression and classification tasks, this is based on sample data, using deep neural networks with multiple layers in a feedforward mode. Gradient optimization algorithms and their variants are usually the heart of these approximations: the gradients are computed by backpropagation technique which is the pillar technique in deep learning architectures. For the deep learning architectures to work well, there must be a huge amount of training data, and the test data must be quite similar to the training data, indeed, the answers are interpolations between training data. Contrary to human brain, classical deep learning is data hungry and struggles with datasets with medium size, it fails challenges that don't remain close to its core training data and is vulnerable to adversarial attacks. Despite all these drawbacks, supervised deep learning remains an efficient tool when vast amounts of data are available in classification or regression problems. This tool must little by little be enhanced by other approaches. Alongside supervised learning, there are unsupervised learning approaches. We propose in this PhD project to build novel architectures which mix standard supervised architectures and unsupervised ones, to get the best out of each approach. Hopfield networks are dense associative memories and are unsupervised networks that are currently experiencing a new interest. Indeed, contrary to the ancient Hopfield networks [3], [4], modern Hopfield networks have no storage capacity problems and are continuous and differentiable with respect to their parameters, so that they are suitable to be integrated in feedforward classical deep architectures. Modern Hopfield learning is based on an energy function (Lyapunov function). In a recent paper [10], the authors proposed a new energy function that is monotone decreasing, allows very high-capacity storage and they deduced an updating learning rule that converges to a stable state (either a fixed state or a cycle). Their work is mathematically rigorously proven. Then, they propose 3 kinds of Hopfield layers that can be integrated into classical deep learning architectures, they also emphasize by experiments, the remarkable performances when integrating such Hopfield layers into classical feedforward deep learning approach. Comparisons with well-known and efficient methods such as LSTM, XGboost or K-means are done. PhD goal: -------- The goal of this project PhD is to do the state of the art of the few existing mixed supervised/unsupervised approaches and to propose novel architectures that contribute to this rising theme. The claims must be proved, implementations on significant problems from biology, epidemiology, pharmacology, and physics must be conducted to experimentally compare the proposed architectures and algorithms to well-known classical ones. Beside originality, efficiency, and robustness of the new architectures with respect to traditional deep learning architectures, the biological plausibility of the proposed process will also be discussed. Indeed, if we compare to human brain, we know that the Hebb's rule implies that changes of the synapse strength should be dependent only on the activities of the local synaptic neurons. In other words, the biological neuron responses are governed by a synapse-change procedure that is physically local and thus describable by local mathematic computation. But supervised training techniques with the backpropagation algorithm, requires massive amounts of labeled data, and a nonlocal learning rule for changing the synapse strengths: the backpropagation technique is biologically implausible. Conversely, learning with Hopfield nets seems to be more biologically plausible as it is explained in [9]. This last argument contributed to the direction we would like to give to this PhD. Concretely, after overviewing the state of the art in feedforward approaches and dense associative memory ones, the researcher will: - Point out the advantages and disadvantages between gradient-based approaches and energy function-based ones. - Explain the advantage of integrating dense associative memory layers into feedforward architectures and explain how to make this operation in term of tensor (vector) manipulations. - Prove the claimed results. - Give the implementation details of the mixed architectures. - Compare numerically the performance and robustness of the proposed approaches with other approaches proposed in the literature. Various datasets from various scientific problems such as Immune Repertoire Classification and on UCI Benchmark Collections [5] must be tested and compared to other methods. Références bibliographiques / Bibliography ------------------------------------------ 1. Mete Demircigil, Judith Heusel, Matthias Löwe, Sven Upgang, and Franck Vermet. On a model of associative memory with huge storage capacity. Journal of Statistical Physics, 168(2):288–299, 2017. 2. R. O. Emerson, W. S. DeWitt, M. Vignali, J. Gravley, J. K. Hu, E. J. Osborne, C. Desmarais, M. Klinger, C. S. Carlson, J. A. Hansen, et al. Immunosequencing identifies signatures of cytomegalovirus exposure history and HLA-mediated effects on the T cell repertoire. Nature Genetics, 49(5):659, 2017 3. J. J. Hopfield. Neural networks and physical systems with emergent collective computational abilities. Proceedings of the National Academy of Sciences, 79(8):2554–2558, 1982. 4. J. J. Hopfield. Neurons with graded response have collective computational properties like those of two-state neurons. Proceedings of the National Academy of Sciences, 81(10):3088–3092, 1984. doi: 10.1073/pnas.81.10.3088. 5. M. M. R. Khan, R. B. Arif, M. A. B. Siddique, and M. R. Oishe. Study and observation of the variation of accuracies of KNN, SVM, LMNN, ENN algorithms on eleven different datasets from UCI machine learning repository. In 4th International Conference on Electrical Engineering and Information & Communication Technology (iCEEiCT), pp. 124–129. IEEE, 2018. 6. D. Krotov and J. J. Hopfield. Dense associative memory for pattern recognition. In D. D. Lee, M. Sugiyama, U. V. Luxburg, I. Guyon, and R. Garnett (eds.), Advances in Neural Information Processing Systems, pp. 1172–1180. Curran Associates, Inc., 2016. 7. D. Krotov and J. J. Hopfield. Dense associative memory is robust to adversarial inputs. Neural Computation, 30(12):3151–3167, 2018. 8. D. Krotov and J. J. Hopfield. Large associative memory problem in neurobiology and machine learning. ArXiv, 2008.06996, 2020. 9. D. Krotov and J. J. Hopfield. Large associative memory problem in neurobioloy and machine learning, ICLR 2021, arXiv:2008.06996v3 [q-bio.NC], 27 Apr 2021. 10. Hubert Ramsauer, Bernhard Schäfl, Johannes Lehner, Philipp Seidl, Michael Widrich, Lukas Gruber, Markus Holzleitner, Milena Pavlovic, Geir Kjetil Sandve, Victor Greiff, et al. Hopfield networks is all you need. arXiv preprint arXiv:2008.02217, 2020. 11. M. Widrich, B. Schäfl, M. Pavlovi´c, H. Ramsauer, L. Gruber, M. Holzleitner, J. Brandstetter, G. K. Sandve, V. Greiff, S. Hochreiter, and G. Klambauer. Modern Hopfield networks and attention for immune repertoire classification. In Advances in Neural Information Processing Systems. Curran Associates, Inc., 2020b.