Contrôle optimal stochastique des processus de Markov déterministes par morceaux et application à l’optimisation de maintenance

par Alizée Geeraert

Thèse de doctorat en Mathématiques appliquées et calcul scientifique

Sous la direction de François Dufour et de Benoîte de Saporta.

Soutenue le 06-06-2017

à Bordeaux , dans le cadre de École doctorale de mathématiques et informatique (Talence, Gironde) , en partenariat avec Institut national de recherche en informatique et en automatique (France). Centre de recherche Inria de l'université de Bordeaux (Bordeaux) (laboratoire) .

Le président du jury était Olivier Gaudoin.

Le jury était composé de François Dufour, Benoîte de Saporta, Olivier Gaudoin, Madalina Deaconu, Antoine Grall, Michel Prenat, Hullong Zhang, Camille Baysse.

Les rapporteurs étaient Madalina Deaconu, Antoine Grall.

mots clés

• Processus de Markov déterministes par morceaux
• Contrôle impulsionnel
• Stratégies optimales
• Programmation dynamique
• Optimisation
• Quantification
• Modélisation
• Programmation dynamique
• Contrôle impulsionnel
• Markov, Processus de
• Optimisation mathématique

Résumé

On s’intéresse au problème de contrôle impulsionnel à horizon infini avec facteur d’oubli pour les processus de Markov déterministes par morceaux (PDMP). Dans un premier temps, on modélise l’évolution d’un système opto-électronique par des PDMP. Afin d’optimiser la maintenance du système, on met en place un problème de contrôle impulsionnel tenant compte à la fois du coût de maintenance et du coût lié à l’indisponibilité du matériel auprès du client.On applique ensuite une méthode d’approximation numérique de la fonction valeur associée au problème, faisant intervenir la quantification de PDMP. On discute alors de l’influence des paramètres sur le résultat obtenu. Dans un second temps, on prolonge l’étude théorique du problème de contrôle impulsionnel en construisant de manière explicite une famille de stratégies є-optimales. Cette construction se base sur l’itération d’un opérateur dit de simple-saut-ou-intervention associé au PDMP, dont l’idée repose sur le procédé utilisé par U.S. Gugerli pour la construction de temps d’arrêt є-optimaux. Néanmoins, déterminer la meilleure position après chaque intervention complique significativement la construction de telles stratégies et nécessite l’introduction d’un nouvel opérateur. L’originalité de la construction de stratégies є-optimales présentée ici est d’être explicite, au sens où elle ne nécessite pas la résolution préalable de problèmes complexes.

mots clés

• Piecewise deterministic Markov process
• Impulse control
• Optimal strategies
• Dynamic programming
• Optimization
• Quantization
• Modeling

Titre traduit

Stochastic optimal control for piecewise deterministic Markov processes and application to maintenance optimization

Résumé

We are interested in a discounted impulse control problem with infinite horizon forpiecewise deterministic Markov processes (PDMPs). In the first part, we model the evolutionof an optronic system by PDMPs. To optimize the maintenance of this equipment, we study animpulse control problem where both maintenance costs and the unavailability cost for the clientare considered. We next apply a numerical method for the approximation of the value function associated with the impulse control problem, which relies on quantization of PDMPs. The influence of the parameters on the numerical results is discussed. In the second part, we extendthe theoretical study of the impulse control problem by explicitly building a family of є-optimalstrategies. This approach is based on the iteration of a single-jump-or-intervention operator associatedto the PDMP and relies on the theory for optimal stopping of a piecewise-deterministic Markov process by U.S. Gugerli. In the present situation, the main difficulty consists in approximating the best position after the interventions, which is done by introducing a new operator.The originality of the proposed approach is the construction of є-optimal strategies that areexplicit, since they do not require preliminary resolutions of complex problems.