Modélisation et simulation de large processus décisionnels markoviens : Application aux effets de leviers pour les processus d’optimisation des portefeuilles financiers

Discrete Event Modeling and Simulation of Large Markov Decision Process : Application to the Leverage Effects in Financial Asset Optimization Processes

• Auteur / Autrice : Emanuele Barbieri
• Direction : Laurent Capocchi, Jean-François Santucci
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 17/03/2023
• Etablissement(s) : Corte
• Ecole(s) doctorale(s) : École doctorale Environnement et sociéte (Corte ; 2000-....)
• Partenaire(s) de recherche : Laboratoire : Université de Corse (1975-....). UMR CNRS 6134 "Sciences pour l'Environnement" (SPE)
• Jury : Examinateurs / Examinatrices : Jean-François Santucci, Bernard P. Zeigler, Claudia Frydman, Frédéric Prévot
• Jury : Rapporteur / Rapporteuse : Bernard P. Zeigler, Claudia Frydman

Mots clés

Mots clés contrôlés

Gestion de portefeuille

Markov, Processus de

Systèmes d'aide à la décision

Mots clés libres

Système à évènement discret

Apprentissage par renforcement

Processus de Markov

Prise de décision

Management financier

Intelligence artificielle

Explicabilité

Apprentissage supervisé

Volatilité des indices boursiers

Discrete-event system

Reinforcement learning

Markov processes

Decision making

Financial management

Artificial Intelligence

Explainability

Supervised learning

Stock market Volatility

Résumé

Les modèles de processus de décision de Markov (MDP) sont largement utilisés dans de nombreux domaines de recherche pour modéliser les problèmes de prise de décision. Les MDP peuvent être facilement conçus par modélisation et simulation (M&S) à travers le formalisme de spécification de système à événements discrets (DEVS) grâce à ses aspects modulaires et hiérarchiques qui améliorent entre autre l’explicabilité des modèles. En particulier, la séparation entre l’agent et les composants de l’environnement impliqués dans l’algorithme d’apprentissage par renforcement (RL)traditionnel, tel que Q-Learning, est clairement formalisé pour améliorer l’observabilité et envisager l’intégration des composants de l’IA dans le processus de prise de décision. Notre modèle DEVS renforce également la confiance des décideurs en atténuant le risque de délégation aux machines dans les processus de prise de décision. A cet effet, l’objectif principal de ce travail est de fournir la possibilité de concevoir avec une plus grande explicabilité un système Markovien à l’aide d’unformalisme de M&S pour optimiser, par simulation, un processus de prise de décision. En outre, le travail implique une étude de cas basée sur la gestion des processus financiers, sa spécification entant que système RL basé sur MDP, et sa M&S avec le formalisme DEVS. L’environnement de M&S DEVSimPy est utilisé pour implémenter le système Agent-Environnement RL en tant que librairie DEVS-RL composée de modèles DEVS intéragissant par événements discrets pour mettre en oeuvre l’apprentissage. Le travail de recherche proposé dans cette thèse porte sur un cas concret de gestion de portefeuille d’indices boursiers. Notre modèle DEVS-RL permet de produire un effet de levier trois fois supérieur à certains des indices de marché naïfs parmi les plus importants au monde sur une période de trente ans et peut contribuer à aborder la théorie moderne du portefeuille avec une approche novatrice. Les résultats du modèle DEVS-RL sont confrontés en termes de compatibilité et combinés avec les algorithmes d’optimisation les plus populaires tels que Efficient FrontierSemivariance et les modèles basés sur les réseaux de neurones tels que LSTM.

Markov Decision Process (MDP) models are widely used to model decision-making problems in manyresearch fields. MDPs can be readily designed through modeling and simulation (M&S) using theDiscrete Event System Specification formalism (DEVS) due to its modular and hierarchical aspects,which improve the explainability of the models. In particular, the separation between the agent andthe environment components involved in the traditional reinforcement learning (RL) algorithm, suchas Q-Learning, is clearly formalized to enhance observability and envision the integration of AIcomponents in the decision-making process. Our proposed DEVS model also improves the trust ofdecision makers by mitigating the risk of delegation to machines in decision-making processes. Themain focus of this work is to provide the possibility of designing a Markovian system with a modelingand simulation formalism to optimize a decision-making process with greater explainability throughsimulation. Furthermore, the work involves an investigation based on financial process management,its specification as an MDP-based RL system, and its M&S with DEVS formalism. The DEVSimPyPython M&S environment is used to implement the Agent-Environment RL system as event-basedinteractions between Agent and Environment atomic models stored in a new DEVS-RL library. Theresearch work proposed in this thesis focused on a concrete case of portfolio management of stockmarket indices. Our DEVS-RL model allows for a leverage effect three times higher than some of themost important naive market indexes in the world over a thirty-year period and may contribute toaddressing the modern portfolio theory with a novel approach. The results of the DEVS-RL model arecompared in terms of compatibility and combined with popular optimization algorithms such asefficient frontier semivariance and neural network models like LSTM. This combination is used toaddress a decision-making management policy for complex systems evolving in highly volatileenvironments in which, the state evolution depends entirely on the occurrence of discreteasynchronous events over time.