Méthodes d'apprentissage par renforcement pour les stratégies systématiques de market making

Reinforcement Learning for systematic market making strategies

• Auteur / Autrice : Vincent Ragel
• Direction : Damien Challet, Nicolas Rolin
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques appliquées
• Date : Soutenance le 06/12/2024
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Interfaces : matériaux, systèmes, usages (Palaiseau, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Mathématiques et informatique pour la complexité et les systèmes (Gif-sur-Yvette, Essonne ; 2006-....)
• Partenaire(s) de recherche : Référent : CentraleSupélec
• Partenaire(s) de recherche : graduate school : Université Paris-Saclay. Graduate School Sciences de l'ingénierie et des systèmes (2020-....)
• Partenaire(s) de recherche : Entreprise : BNP Paribas
• Jury : Président / Présidente : Caroline Hillairet
• Jury : Examinateurs / Examinatrices : Olivier Guéant, Eyal Neumann, Matthieu Garcin
• Jury : Rapporteurs / Rapporteuses : Olivier Guéant, Eyal Neumann

Mots clés

Mots clés contrôlés

Contrepartie (bourse)

Marché financier

Apprentissage par renforcement (intelligence artificielle)

Mots clés libres

Apprentissage par renforcement

Microstructure de marché

Carnet d'ordres

Processus Stochastiques

Market Making

Reinforcement Learning

Market Microstructure

Limit order book

Stochastic Process

Market Making

Résumé

La thèse porte sur l'utilisation de l'apprentissage par renforcement pour la prise de décision du teneur de marché. Ce dernier est un acteur essentiel des marchés. Son rôle est de fournir de la liquidité en affichant des prix à l'achat et à la vente auxquels il s'engage à traiter face aux autres intervenants. Le teneur de marché se rémunère en bénéficiant d'une fourchette offre-demande. En assurant la liquidité il prend deux risques (un risque d'inventaire et un risque de sélection adverse).Cette thèse est divisée en trois parties. Premièrement, nous introduisons une modification à la structure LSTM en exploitant les propriétés statistiques de la volatilité réalisée, ce qui améliore la vitesse et la stabilité de l'apprentissage. Deuxièmement, elle utilise des réseaux neuronaux pour estimer les probabilités d'exécution, fournissant ainsi une information qui contribue à un prise de décision plus efficace. Enfin, elle démontre comment ces probabilités fournissent une représentation de faible dimension de l'état du carnet d'ordres, améliorant ainsi les performances de l'apprentissage par renforcement.

The thesis focuses on the use of reinforcement learning for maker making decision. The market maker is an essential player in the financial markets. Its goal is to provide liquidity by showing buy and sell prices at which it commits to trade. The market maker get remunerated by benefiting from the difference between the bid and the ask, called bid-ask spread. By providing liquidity, it takes two risks (inventory risk and adverse selection risk).This thesis is divided into three parts. First, we introduce a modification to the LSTM structure by leveraging the statistical properties of realized volatility. This modification has enhanced the training speed. Secondly, it investigates the numerical computation of execution probabilities, providing insights that contribute to more effective decision-making strategies. Lastly, it demonstrates how these probabilities provide a low-dimensional representation of the order book's state, thereby improving the performance of reinforcement training.