Aspects algorithmiques des processus de Markov sur des espaces d'états finis et leurs applications à l'optimisation et aux jeux stochastiques

Algorithmic aspects of Markov processes on finite state spaces and their applications in optimization and stochastic games

• Auteur / Autrice : Nhat-Thang Le
• Direction : Laurent Miclo, Stéphane Villeneuve
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques et Applications
• Date : Soutenance le 30/10/2025
• Etablissement(s) : Université de Toulouse (2023-....)
• Ecole(s) doctorale(s) : École doctorale Mathématiques, informatique et télécommunications (Toulouse)
• Partenaire(s) de recherche : Laboratoire : Institut de mathématiques de Toulouse (2007-....)
• Partenaire(s) de recherche : Etablissement de délivrance conjointe : Université de Toulouse (EPE ; 2025-....)
• Jury : Président / Présidente : Pierre Del Moral
• Jury : Examinateurs / Examinatrices : Aurélia Deshayes
• Jury : Rapporteurs / Rapporteuses : Zhenjie Ren, Jan Maas
• DOI : 10.70675/28dd9cedz1170z4ad5z81ffzd04b37b44688

Mots clés

Mots clés contrôlés

Optimisation combinatoire

Processus stochastiques

Processus de Markov

Mots clés libres

Processus de Markov

Optimisation

Jeu stochastique

Markov process

Optimization

Stochastic game

Résumé

Les processus de Markov sont omniprésents en mathématiques et apparaissent dans de nombreuses applications en sciences, en ingénierie et en technologie. Leur structure probabiliste intrinsèque et leur comportement dynamique en font un outil puissant pour la modélisation, l'analyse et la conception d'algorithmes. Cette thèse s'intéresse aux aspects algorithmiques des processus de Markov, en particulier dans le contexte de l'optimisation combinatoire et des jeux stochastiques.La première partie de la thèse introduit un cadre de dynamique de Markov non linéaire pour la résolution de problèmes d'optimisation définis sur des ensembles finis. Étant donné une fonction 𝑈 définie sur un ensemble fini 𝑆, l'objectif est de minimiser 𝑈 sans recourir à une recherche exhaustive, souvent infaisable en pratique en raison de sa complexité. Pour contourner cette difficulté, le problème est reformulé dans l'espace des mesures de probabilité sur 𝑆, où un problème d'optimisation pénalisé est posé à l'aide d'un paramètre de température inverse dépendant du temps, βt. Des outils issus de la théorie du transport optimal sont alors utilisés pour dériver une nouvelle équation différentielle ordinaire (EDO), dont la solution décrit la loi d'un processus de Markov non linéaire. À mesure que le temps progresse (t→+∞), le processus se concentre asymptotiquement autour des minimiseurs globaux de 𝑈, donnant lieu à une nouvelle dynamique de recuit simulé. Cette approche est particulièrement adaptée à l'implémentation numérique et possède un fort potentiel en optimisation algorithmique.La deuxième partie de la thèse développe un nouvel algorithme pour une classe de jeux stochastiques mettant en jeu deux joueurs dans un jeu d'arrêt à somme nulle. La dynamique du jeu est gouvernée par un processus de Markov, chaque joueur observant l'évolution et choisissant un temps d'arrêt pour optimiser son objectif. Un paiement est effectué lorsqu'un des joueurs décide d'arrêter le processus, et du fait de la structure à somme nulle, les intérêts des joueurs sont complètement opposés. Dans ce cadre, le concept d'équilibre de Nash émerge naturellement. Un objet central est la fonction de valeur, représentant l'espérance du gain à l'équilibre. Bien que la littérature théorique fournisse de nombreuses caractérisations de la fonction de valeur et des équilibres de Nash, il n'existe pas d'algorithme efficace pour calculer cette fonction de valeur dans le cas général. Cette thèse propose une nouvelle méthode algorithmique pour combler cette lacune.La dernière partie de la thèse aborde un problème ouvert concernant la caractérisation des noyaux de Markov 𝜋-factorisables sur un espace d'états fini 𝑆, pour une mesure de probabilité fixée 𝜋 sur 𝑆. Cette question, initialement posée par Caputo et al. dans cite{Caputo}, constitue la motivation principale de cette ligne de recherche. Bien qu'une résolution complète reste à atteindre, la thèse présente plusieurs résultats partiels qui éclairent la structure de ces noyaux. Une contribution notable est la caractérisation complète des noyaux 𝜋-factorisables dans le cas où le processus de Markov sous-jacent possède une structure arborescente. De plus, la thèse propose de nouvelles perspectives spectrales, susceptibles de contribuer à une compréhension plus générale et, à terme, à la résolution du problème.

Markov processes are ubiquitous in mathematics and appear in numerous applications across science, engineering, and technology. Their intrinsic probabilistic structure and dynamic behavior make them a powerful tool in modeling, analysis, and algorithm design. This thesis focuses on algorithmic aspects of Markov processes, particularly in the context of combinatorial optimization and stochastic games.The first part of the thesis introduces a nonlinear Markov dynamics framework for solving optimization problems defined on finite sets. Given a function ''dollar''U''dollar'' on a finite set ''dollar''cS''dollar'', the goal is to minimize ''dollar''U''dollar'' without resorting to exhaustive search, which is often computationally infeasible. To address this, the problem is lifted to the space of probability measures on''dollar''cS''dollar'', where a penalized optimization problem is formulated using a time-dependent inverse temperature parameter ''dollar''beta_t''dollar''. Tools from optimal transport theory are then employed to derive a novel ordinary differential equation (ODE), whose solution describes the law of a nonlinear Markov process. As time progresses (''dollar''t rightarrow +infty''dollar''), the process asymptotically concentrates around the global minimizers of ''dollar''U''dollar'', yielding a new type of simulated annealing dynamics. This approach is particularly suitable for numerical implementation and has potential applications in algorithmic optimization.The second part of the thesis develops a novel algorithm for a class of stochastic games involving two players engaged in a zero-sum stopping game. The dynamics of the game are governed by a Markov process, with each player observing the evolution and choosing a stopping time to optimize their respective objectives. A payoff is made when one of the players decides to stop the process, and due to the zero-sum structure, the players' interests are entirely opposed. In this setting, the concept of Nash equilibrium naturally arises. A central object of interest is the value function, representing the expected payoff at equilibrium. Despite the extensive theoretical literature on characterizing the value function and Nash equilibria, no effective algorithm exists for computing the value function in general settings. This thesis proposes a new algorithmic method to address this gap.The final part of the thesis addresses an open problem concerning the characterization of ''dollar''pi''dollar''-factorizable Markov kernels on a finite state space ''dollar''cS''dollar'', for a fixed probability measure ''dollar''pi''dollar'' on ''dollar''cS''dollar''. This question was originally posed by Caputo et al. in cite{Caputo} and serves as the primary motivation for this line of investigation. While a complete resolution remains open, this thesis presents several partial results that shed light on the structure of such kernels. A notable contribution is the full characterization of ''dollar''pi''dollar''-factorizable kernels in the case where the underlying Markov process exhibits a tree-like structure. In addition, the thesis provides new insights from a spectral perspective, which may contribute toward a more general understanding and eventual solution of the problem.