Contrôle par Limite Diffusive et Apprentissage par Renforcement

Diffusive Limit Control and Reinforcement Learning

• Auteur / Autrice : Lorenzo Croissant
• Direction : Bruno Bouchard-Denize
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques
• Date : Soutenance le 08/12/2023
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : Ecole doctorale SDOSE (Paris)
• Partenaire(s) de recherche : Laboratoire : Centre de recherche en mathématiques de la décision (Paris) - Centre de Recherche en Mathématiques de la Décision
• Partenaire(s) de recherche : établissement opérateur d'inscription : Université Paris Dauphine-PSL (1968-....)
• Partenaire(s) de recherche : Entreprise : Criteo SA (société anonyme)
• Jury : Président / Présidente : Mathieu Rosenbaum
• Jury : Examinateurs / Examinatrices : Bruno Bouchard-Denize, Mathieu Rosenbaum, Jean-François Chassagneux, Vianney Perchet, Charles-Albert Lehalle, Pierre Cardaliaguet, Marc Hoffmann, Athena Picarelli, Marc Abeille
• Jury : Rapporteur / Rapporteuse : Jean-François Chassagneux, Vianney Perchet

Mots clés

Mots clés contrôlés

Hamilton-Jacobi, Équations de

Processus stochastiques

Markov, Spectre de

Mots clés libres

Limite diffusive

Contrôle stochastique

Apprentissage par renforcement

Enchères séquentielles

Equations de Hamilton - Jacobi Bellman

Optimiste devant l'incertain

Diffusive Limit

Stochastic control

Reinforcement learning

Online auctions

Hamilton Jacobi Bellman equations

Optimism in the face of uncertainty

Résumé

On considère la limite diffusive d'un problème de contrôle Markovien à sauts purs quelconque lorsque l'intensité de son processus de Poisson tend vers l'infini. On quantifie la vitesse de convergence en fonction de l'exposant de H''older de la Hessienne du problème limite. On montre ensuite comment construire des termes de correction pour cette approximation, selon deux méthodologies différentes. Notre analyse couvre le problème à horizon fini, escompté et ergodique. Dans le cas ergodique, on quantifie l'erreur induite par l'utilisation de la politique de contrôle Markovienne construite à partir du schéma numérique de différences finies associé au problème diffusif limite. Cette approche permet une réduction très significative du coût de résolution numérique des problèmes de contrôle à sauts purs lorsque l'intensité des sauts est grande.On s'attache ensuite au problème de l'incertitude dans les systèmes de contrôle, et on étend notre étude au contexte de l'apprentissage par renforcement en ligne. Dans le paradigme de l'optimisme devant l'incertain, on exploite le carcan de la dimension d'eluder pour gérer l'apprentissage et la limite diffusive pour résoudre approximativement le sous-problème de planification. Notre algorithme étend la théorie existante des problèmes discrets aux problèmes avec états et actions continus. L'utilisation d'outils issus de la théorie des processus stochastiques à temps continu nous permet également d'étudier une classe de coefficients plus générique que les travaux précédents.Notre étude des systèmes à limite diffusive est motivée et illustrée par le problème d'enchérir dans une enchère séquentielle à haute fréquence contre un vendeur qui maximise son revenu sous contrainte d'utiliser une règle de mise à jour en temps réel.

We consider the diffusive limit of a generic pure-jump Markov control problem as the intensity of the driving Poisson process tends to infinity. We quantify the convergence speed in terms of the H''older exponent of the Hessian of the limit problem. We then explain how correction terms can be constructed for this limit approximation, according to two different methodologies. Our analysis covers the finite-horizon, discounted, and ergodic problems. In the ergodic case, we quantify the error induced by the use of the Markov control policy constructed from the numerical finite difference scheme associated with the limit diffusive problem. This approach permits a very significant reduction in numerical resolution cost for pure-jump control problems when the intensity of jumps is large.Considering the problem of uncertainty in control systems, we study these high-frequency pure-jump problems in the context of online Reinforcement Learning. Using the acrlong{OFU} paradigm, we leverage the eluder dimension framework for learning and lazy updates, as well as the diffusive limit for approximate resolution of the planning sub-problem. This extends existing theory from discrete processes to continuous states and actions. The use of tools for continuous-time stochastic processes also permits us to study a more generic class of coefficients than previous work.Our study of diffusion limit systems is motivated and illustrated by the bidding problem in a high-frequency online auction against a seller who maximises its revenue under the constraints of using a real-time update rule.