Synergies dans la recherche évolutionnaire de politiques connexionnistes

Leveraging Structure in Evolutionary Neural Policy Search

• Auteur / Autrice : Paul Templier
• Direction : Emmanuel Rachelson, Dennis Wilson
• Type : Projet de thèse
• Discipline(s) : Informatique et Télécommunications
• Date : Inscription en doctorat le ; Soutenance le 22/04/2024
• Etablissement(s) : Toulouse, ISAE
• Ecole(s) doctorale(s) : École doctorale Mathématiques, informatique et télécommunications
• Partenaire(s) de recherche : Laboratoire : ISAE-ONERA MOIS MOdélisation et Ingénierie des Systèmes
• Jury : Président / Présidente : Daniel Delahaye
• Jury : Examinateurs / Examinatrices : Emmanuel Rachelson, Dennis Wilson, Nikolaus Hansen, Olivier Sigaud, Gabriela Ochoa
• Jury : Rapporteurs / Rapporteuses : Nikolaus Hansen, Olivier Sigaud

Mots clés

Mots clés libres

Apprentissage automatique

Machine learning

Stratégies évolutionnnaires

Réseaux de neurones

Machine learning

Evolution strategies

Neural network

Résumé

Former un agent pour des tâches complexes comme conduire une voiture, maîtriser un jeu vidéo ou contrôler le plasma dans un réacteur à fusion nucléaire pose un défi important en l'absence d'un guide expert. Dans de tels scénarios, imiter le processus d'évolution du monde naturel, qui a affiné les capacités de résolution de problèmes des cerveaux animaux, offre une approche prometteuse. La Recherche Évolutionnaire de Politiques Connexionnistes (REPC) s'inspire de ce concept. Elle crée une population diversifiée d'agents, ou "politiques", représentés par des réseaux de neurones artificiels, permettant au système d'évoluer en sélectionnant et en mutant sélectivement les individus performants. Cette thèse explore les composants clés de la REPC et leurs interactions, en se concentrant sur les Stratégies Evolutionnaires (ES), une méthode d'optimisation stochastique basée sur une distribution. Nous présentons trois axes de recherche pour tirer parti des synergies entre ES et recherche de politiques dans le développement de nouvelles méthodes d'apprentissage. Le premier problème abordé est lié à l'incertitude dans l'évaluation des solutions, où le score d'une politique peut être affecté par du bruit ou un environnement stochastique. Pour propager l'incertitude depuis le score jusqu'à la mise à jour de la distribution de l'ES, nous proposons une méthode d'estimation de la dispersion par échantillonnage Monte-Carlo (DEMONS) qui identifie la solution ayant le plus grand impact et nécessitant plus d'échantillons pour être évaluée avec précision. Ce nouveau schéma d'évaluation tire parti de la structure de l'étape de mise à jour ES pour mieux identifier les solutions sensibles qui nécessitent plus d'attention. Notre second axe de recherche concerne l'exploitation de la structure des réseaux de neurones artificiels pour améliorer leur représentation en tant que génomes pour l'optimisation. Nous introduisons l'Encodage Géométrique pour la Neuroévolution (GENE) qui encode l'information dans les neurones, réduisant leur dimension pour rendre l'optimisation moins coûteuse tout en façonnant l'espace de recherche pour faire émerger naturellement de meilleures architectures. En utilisant une approche de méta-évolution, nous optimisons ensuite cet encodage pour obtenir une représentation des réseaux qui améliore les performances tout en généralisant sur de nouveaux problèmes. Enfin, nous explorons deux domaines adjacents, l'Apprentissage par Renforcement (RL) et la Qualité-Diversité (QD), qui utilisent des informations supplémentaires provenant des évaluations pour guider la recherche. Les transitions d'états rencontrées par les agents peuvent être utilisées par du RL pour entraîner une politique, l'acteur, qui est ensuite injecté dans la population. Cependant, nous pouvons montrer que la différence entre les objectifs de l'ES et du RL font que les génomes de l'acteur et de la population divergent, ce qui mène à une rupture de l'optimisation de l'ES. Nous introduisons la Régularisation de la Dérive Génétique, qui contraint l'acteur RL à rester génétiquement proche de la distribution ES, améliorant ainsi leurs performances QD définit des descripteurs de comportement pour chaque solution, qui y sont utilisés pour créer un répertoire de politiques diverses. Nous montrons que ces descripteurs peuvent également être inclus dans le processus ES pour aider à trouver la meilleure solution. Nous introduisons le cadre de la Qualité avec Juste Assez de Diversité (JEDi), qui apprend le lien entre comportement et scores pour se concentrer sur les solutions prometteuses. JEDi utilise les comportements pour introduire plus de diversité dans la recherche, résolvant efficacement les tâches d'exploration difficiles, et pour trouver des étapes intermédiaires qui améliorent la recherche.

While training an agent for complex tasks like driving a car, mastering a video game, or controlling plasma in a nuclear fusion reactor, the absence of an expert guide poses a significant challenge. In such scenarios, mimicking the natural world's evolutionary process, which has honed the problem-solving capabilities of animal brains, offers a promising approach. Evolutionary Neural Policy Search (ENPS) draws inspiration from this concept. It creates a diverse population of agents, or "policies", represented by neural networks, allowing the system to "evolve" by selectively breeding and mutating successful individuals. This thesis delves into the core components of ENPS and their intricate interplay. We focus more specifically on Evolution Strategies (ES), a distribution-based evolutionary optimization method, and their interactions with Neural Policy Search. In this work we present three research directions around the core goal of leveraging the internal structures of Neural Policy Search and Evolution Strategies to develop more efficient and effective learning algorithms for complex tasks. First, we tackle the issue of uncertainty in the evaluation of solutions, where the evaluated score of a policy can be impacted by noise or stochasticity in the evaluation. To propagate the uncertainty from the fitness evaluation to the update of the ES distribution, we design the Dispersion Estimation with Monte-Carlo Sampling (DEMONS) method which identifies which solution has the largest impact and would require more samples to be accurately evaluated. This new evaluation scheme leverages the structure of the ES update step to better identify sensitive solutions that need more attention. Then, we study how the graph-based structure of artificial neural networks can be used to improve their representation as genomes for optimization. We introduce the Geometric Encoding for NeuroEvolution (GENE) which encodes the information in the neurons, reducing their dimension to make optimization less expensive while shaping the search space to make better architectures naturally emerge. Using a meta-evolution approach, we then automatically search for a better encoding through GENE, yielding to a mapping from genomes to networks that improves performance while generalizing on unseen tasks. Finally, look at the adjacent fields of Deep Reinforcement Learning (RL) and Quality-Diversity (QD), which use additional information from the evaluations to guide the search. Transition-level information along trajectories experienced by policies during evaluation can be aggregated and used to train an oracle with RL, which can then be injected into the ES population. However as the ES populatio and the RL actor are not optimized on the same landscape, their genomes can drift apart, breaking the ES optimization. We introduce the Genetic Drift Regularization, which constrains the RL actor to stay genetically close to the ES distribution, which improves the performance of the ES population and the RL actor. QD on the other hand defines behavior descriptors for each solution, which describe how the policy approaches the problem. While these behaviors are used in QD to find a diverse archive of policies, we show that they can also be included in the ES process to help find the best solution. We introduce the framework of Quality with Just Enough Diversity (JEDi), where the relationship between behavior and score is learned to guide the search, focusing on solutions potentially high scores. JEDi uses behaviors to introduce more diversity in the search, effectively solving hard exploration tasks, and to find "stepping stones" that lead to higher scores on hard control problems. With these methods, we study how the internal structures of Neural Policy Search and Evolution Strategies can be leveraged to develop more efficient and robust learning algorithms for complex tasks.