Des programmes mathématiques pour les processus décisionnels de Markoff décentralisés et partiellement observés

Mathematical programming methods for decentralized POMDPs

• Auteur / Autrice : Raghav Aras
• Direction : François Charpillet, Alain Dutech
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 23/10/2008
• Etablissement(s) : Nancy 1
• Ecole(s) doctorale(s) : IAEM - Ecole Doctorale Informatique, Automatique, Électronique - Électrotechnique, Mathématiques
• Partenaire(s) de recherche : Laboratoire : Laboratoire lorrain de recherche en Informatique et ses Applications
• Partenaire(s) de recherche : Equipe de recherche : MAIA
• Jury : Président / Présidente : Philippe Mathieu
• Jury : Examinateurs / Examinatrices : François Charpillet, Alain Dutech, Philippe Mathieu, Shlomo Zilberstein, Nadine Piat, René Schott
• Jury : Rapporteurs / Rapporteuses : Shlomo Zilberstein, Nadine Piat

Mots clés

Mots clés contrôlés

Markov, Processus de

Mots clés libres

Planification sur l'incertitude, multi-agents, processus décisionnels de Markoffs, observabilité partielle, décentalisation

Résumé

Nous étudions le problème du contrôle optimale décentralisé d'un processus de Markoff partiellement observé sur un horizon fini. Mathématiquement, ce problème se défini comme un DEC-POMDP. Plusieurs problèmes des domaines de l'intélligence artificielles et recherche opérationelles se formalisent comme des DEC-POMDPs. Résoudre un DEC-POMDP dans une mannière exacte est un problème difficile (NEXP-dur). Pourtant, des algorithmes exactes sont importants du point de vue des algorithmes approximés pour résoudre des problèmes pratiques. Les algorithmes existants sont nettement inefficace même pour des DEC-POMDP d'une très petite taille. Dans cette thèse, nous proposons une nouvelle approche basée sur la programmation mathématique. En utilisant la forme séquentielle d'une politique, nous montrons que ce problème peut être formalisé comme un programme non-linéaire. De plus, nous montrons comment transformer ce programme nonl-linéaire un des programmes linéaire avec des variables bivalents et continus (0-1 MIPs). L'éxpérience computationelle sur quatres problèmes DEC-POMDP standards montrent que notre approche trouve une politique optimale beaucoup plus rapidement que des approches existantes. Le temps réduit des heures aux seconds ou minutes.

In this thesis, we study the problem of the optimal decentralized control of a partially observed Markov process over a finite horizon. The mathematical model corresponding to the problem is a decentralized POMDP (DEC-POMDP). Many problems in practice from the domains of artificial intelligence and operations research can be modeled as DEC-POMDPs. However, solving a DEC-POMDP exactly is intractable (NEXP-hard). The development of exact algorithms is necessary in order to guide the development of approximate algorithms that can scale to practical sized problems. Existing algorithms are mainly inspired from POMDP research (dynamic programming and forward search) and require an inordinate amount of time for even very small DEC-POMDPs. In this thesis, we develop a new mathematical programming based approach for exactly solving a finite horizon DEC-POMDP. We use the sequence form of a control policy in this approach. Using the sequence form, we show how the problem can be formulated as a mathematical progam with a nonlinear object and linear constraints. We thereby show how this nonlinear program can be linearized to a 0-1 mixed integer linear program (MIP). We present two different 0-1 MIPs based on two different properties of a DEC-POMDP. The computational experience of the mathematical programs presented in the thesis on four benchmark problems (MABC, MA-Tiger, Grid Meeting, Fire Fighting) shows that the time taken to find an optimal joint policy is one or two orders or magnitude lesser than the exact existing algorithms. In the problems tested, the time taken drops from several hours to a few seconds or minutes.