Apprentissage par renforcement basé sur un modèle ou sans modèle dans la gestion quantitative des actifs

Model-based versus model-free reinforcement learning in quantitative asset management

• Auteur / Autrice : David Saltiel
• Direction : Sébastien Verel, Éric Benhamou
• Type : Thèse de doctorat
• Discipline(s) : Sciences et Technologies de l'information et de la Communication. Informatique et applications
• Date : Soutenance le 07/12/2022
• Etablissement(s) : Littoral
• Ecole(s) doctorale(s) : École doctorale Sciences, technologie et santé (Amiens)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique, signal et image de la Côte d'Opale (Calais, Pas de Calais) - Laboratoire d'informatique, signal et image de la Côte d'Opale (Calais, Pas de Calais)
• Partenaire(s) de recherche : Entreprise : AI Square Connect
• Jury : Président / Présidente : Laetitia Jourdan
• Jury : Examinateurs / Examinatrices : Jonathan Weber, Emmanuel Lepinette, Philippe Preux, Nicole El Karoui
• Jury : Rapporteur / Rapporteuse : Jonathan Weber, Emmanuel Lepinette

Mots clés

Mots clés contrôlés

Recherche quantitative

Apprentissage supervisé (intelligence artificielle)

Apprentissage par renforcement (intelligence artificielle)

Apprentissage automatique

Mots clés libres

Optimisation stochastique

Optimisation en grande dimension;

Apprentissage profond par renforcement;

Réseaux de neuronnes

Environnements non stationnaires;

Apprentissage supervisé

Apprentissage Machine en finance

Méthode quantitative

Stochastic optimization

Optimization in high dimension

Deep reinforcement learning

Neural networks

Nonstationnary environments

Supervised learning

Marchine learning in finance

Quantitative method

Résumé

La promesse de l'apprentissage automatique est d'apprendre des règles à partir de données brutes sans aucune règle prédéfinie. Ainsi, la machine apprend et développe une forme d'intelligence en identifiant elle-même ces règles, s'appuyant uniquement sur des données. Les limites de ce nouveau paradigme sont que l'ordinateur peut boucler indéfiniment étant donné un nombre infini de règles et que les règles trouvées ne continuent pas dans le temps. Ceci est particulièrement important en gestion d'actifs quantitative qui vise à trouver des règles et des modèles sur les marchés financiers connus pour changer de comportement au fil du temps. Dans cette thèse, nous nous posons la question si l'apprentissage automatique doit s'appliquer avec ou sans modèles en gestion quantitative d'actifs. Plutôt que de soutenir l'une ou l'autre thèse, nous examinons tour à tour les deux approches. Nous montrons dans un premier temps que l'apprentissage automatique permet d'améliorer l'efficacité de modèles en sélectionnant les décisions à retenir. Nous montrons ensuite que l'apprentissage automatique est aussi capable d'apprendre des règles directement à partir des données par apprentissage par renforcement profond. Nous prouvons que cette approche généralise les méthodes traditionnelles d'optimisation de portefeuille, supprimant les limites de l'optimisation convexe et permettant des décisions plus sophistiquées au-delà du cadre moyenne et variance. Nous étudions les similitudes entre apprentissage supervisé et apprentissage par renforcement (RL) et montrons que la méthode de stratégie de gradient en RL s'analyse comme une méthode d'apprentissage supervisé avec des étiquettes données par les récompenses et une fonction de perte spécifiée par l'entropie croisée. Nous concluons la thèse par une analyse Bayésienne de la méthode CMAES et l'utilisation des valeurs de Shapley pour mieux comprendre le processus de décision du modèle d'apprentissage automatique.

The promise of machine learning is to learn rules from raw data without any predefined programming rules. Thus, the machine learns and develops a form of intelligence by identifying these rules by itself, purely relying on data. The limits of this new paradigm are that the computer may loop forever because of an infinite number of rules and that found rules may not be stable over time. This is in particular very relevant in quantitative asset management that aims at finding rules and patterns in financial markets, well known to change behavior over time. In this thesis, we examine the central question of whether machine learning should apply with or without models in the field of quantitative asset management. Rather than supporting one or the other thesis, we examine the two approaches in turn. We initially show that machine learning provides some guidance in selecting model decisions to increase overall performance. We then show that machine learning is able to learn rules directly from data using deep reinforcement learning. We prove that this approach generalizes traditional portfolio optimization methods as it lifts the limits of convex optimization and allows for more informed decisions, by directly linking actions to data and extending the agent's states beyond mean and variance. We examined similarities between supervised and reinforcement learning (RL) and demonstrated that the gradient policy method in RL can be presented as a supervised learning method where the labels are the rewards and the loss function in the cross-entropy function. We conclude the thesis with a Bayesian analysis of the CMAES algorithm and the use of Shapley's value to better understand the machine learning model decision process.