Thèse soutenue

Contrôle par Limite Diffusive et Apprentissage par Renforcement
FR  |  
EN
Accès à la thèse
Auteur / Autrice : Lorenzo Croissant
Direction : Bruno Bouchard-Denize
Type : Thèse de doctorat
Discipline(s) : Mathématiques
Date : Soutenance le 08/12/2023
Etablissement(s) : Université Paris sciences et lettres
Ecole(s) doctorale(s) : Ecole doctorale SDOSE (Paris)
Partenaire(s) de recherche : Laboratoire : Centre de recherche en mathématiques de la décision (Paris) - Centre de Recherche en Mathématiques de la Décision
établissement opérateur d'inscription : Université Paris Dauphine-PSL (1968-....)
Entreprise : Criteo SA (société anonyme)
Jury : Président / Présidente : Mathieu Rosenbaum
Examinateurs / Examinatrices : Bruno Bouchard-Denize, Mathieu Rosenbaum, Jean-François Chassagneux, Vianney Perchet, Charles-Albert Lehalle, Pierre Cardaliaguet, Marc Hoffmann, Athena Picarelli, Marc Abeille
Rapporteurs / Rapporteuses : Jean-François Chassagneux, Vianney Perchet

Résumé

FR  |  
EN

On considère la limite diffusive d'un problème de contrôle Markovien à sauts purs quelconque lorsque l'intensité de son processus de Poisson tend vers l'infini. On quantifie la vitesse de convergence en fonction de l'exposant de H"older de la Hessienne du problème limite. On montre ensuite comment construire des termes de correction pour cette approximation, selon deux méthodologies différentes. Notre analyse couvre le problème à horizon fini, escompté et ergodique. Dans le cas ergodique, on quantifie l'erreur induite par l'utilisation de la politique de contrôle Markovienne construite à partir du schéma numérique de différences finies associé au problème diffusif limite. Cette approche permet une réduction très significative du coût de résolution numérique des problèmes de contrôle à sauts purs lorsque l'intensité des sauts est grande.On s'attache ensuite au problème de l'incertitude dans les systèmes de contrôle, et on étend notre étude au contexte de l'apprentissage par renforcement en ligne. Dans le paradigme de l'optimisme devant l'incertain, on exploite le carcan de la dimension d'eluder pour gérer l'apprentissage et la limite diffusive pour résoudre approximativement le sous-problème de planification. Notre algorithme étend la théorie existante des problèmes discrets aux problèmes avec états et actions continus. L'utilisation d'outils issus de la théorie des processus stochastiques à temps continu nous permet également d'étudier une classe de coefficients plus générique que les travaux précédents.Notre étude des systèmes à limite diffusive est motivée et illustrée par le problème d'enchérir dans une enchère séquentielle à haute fréquence contre un vendeur qui maximise son revenu sous contrainte d'utiliser une règle de mise à jour en temps réel.