Contrôle optimal stochastique des processus de Markov déterministes par morceaux et application à l’optimisation de maintenance

Stochastic optimal control for piecewise deterministic Markov processes and application to maintenance optimization

• Auteur / Autrice : Alizée Geeraert
• Direction : François Dufour, Benoîte de Saporta
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques appliquées et calcul scientifique
• Date : Soutenance le 06/06/2017
• Etablissement(s) : Bordeaux
• Ecole(s) doctorale(s) : École doctorale de mathématiques et informatique (Talence, Gironde ; 1991-....)
• Partenaire(s) de recherche : Laboratoire : Institut national de recherche en informatique et en automatique (France). Centre de recherche Inria de l'université de Bordeaux (Bordeaux)
• Jury : Président / Présidente : Olivier Gaudoin
• Jury : Examinateurs / Examinatrices : François Dufour, Benoîte de Saporta, Olivier Gaudoin, Madalina Deaconu, Antoine Grall, Michel Prenat, Hullong Zhang, Camille Baysse
• Jury : Rapporteurs / Rapporteuses : Madalina Deaconu, Antoine Grall

Mots clés

Mots clés contrôlés

Optimisation mathématique

Markov, Processus de

Contrôle impulsionnel

Programmation dynamique

Mots clés libres

Processus de Markov déterministes par morceaux

Contrôle impulsionnel

Stratégies optimales

Programmation dynamique

Optimisation

Quantification

Modélisation

Piecewise deterministic Markov process

Impulse control

Optimal strategies

Dynamic programming

Optimization

Quantization

Modeling

Résumé

On s’intéresse au problème de contrôle impulsionnel à horizon infini avec facteur d’oubli pour les processus de Markov déterministes par morceaux (PDMP). Dans un premier temps, on modélise l’évolution d’un système opto-électronique par des PDMP. Afin d’optimiser la maintenance du système, on met en place un problème de contrôle impulsionnel tenant compte à la fois du coût de maintenance et du coût lié à l’indisponibilité du matériel auprès du client.On applique ensuite une méthode d’approximation numérique de la fonction valeur associée au problème, faisant intervenir la quantification de PDMP. On discute alors de l’influence des paramètres sur le résultat obtenu. Dans un second temps, on prolonge l’étude théorique du problème de contrôle impulsionnel en construisant de manière explicite une famille de stratégies є-optimales. Cette construction se base sur l’itération d’un opérateur dit de simple-saut-ou-intervention associé au PDMP, dont l’idée repose sur le procédé utilisé par U.S. Gugerli pour la construction de temps d’arrêt є-optimaux. Néanmoins, déterminer la meilleure position après chaque intervention complique significativement la construction de telles stratégies et nécessite l’introduction d’un nouvel opérateur. L’originalité de la construction de stratégies є-optimales présentée ici est d’être explicite, au sens où elle ne nécessite pas la résolution préalable de problèmes complexes.

We are interested in a discounted impulse control problem with infinite horizon forpiecewise deterministic Markov processes (PDMPs). In the first part, we model the evolutionof an optronic system by PDMPs. To optimize the maintenance of this equipment, we study animpulse control problem where both maintenance costs and the unavailability cost for the clientare considered. We next apply a numerical method for the approximation of the value function associated with the impulse control problem, which relies on quantization of PDMPs. The influence of the parameters on the numerical results is discussed. In the second part, we extendthe theoretical study of the impulse control problem by explicitly building a family of є-optimalstrategies. This approach is based on the iteration of a single-jump-or-intervention operator associatedto the PDMP and relies on the theory for optimal stopping of a piecewise-deterministic Markov process by U.S. Gugerli. In the present situation, the main difficulty consists in approximating the best position after the interventions, which is done by introducing a new operator.The originality of the proposed approach is the construction of є-optimal strategies that areexplicit, since they do not require preliminary resolutions of complex problems.