Résolution de procesus décisionnels de Markov totalement observables de grandes tailles

Solving large instances of fully observable Markov Decision Processes

• Auteur / Autrice : Stéphane Cardon
• Direction : Eric Grégoire
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance en 2003
• Etablissement(s) : Artois

Mots clés

Mots clés contrôlés

Optimisation mathématique

Planification

Intelligence artificielle

Markov, Processus de

Résumé

La planification sous incertitude, fortement étudiée ces dernières années en Intelligence Artificielle, utilise souvent les Processus Décisionnels de Markov. Nous nous sommes donc focalisés, dans cette thèse, sur cette technique. Afin de cerner au mieux cette méthode issue de la Recherche Opérationnelle, nous nous sommes concentrés sur sa description formelle et ses techniques de résolution illustrées par l'exemple d'une station météo mobile qui se veut autonome et capable de prendre diverses mesures météorologiques sur plusieurs sites géographiques. Notre première contribution montrera, par l'exemple, l'applicabilité de cette technique à l'exemple du rover de la NASA et mettra en avant une amélioration d'un des algorithmes de résolution. Néanmoins, cette contribution mettra en avant une des limites des Processus Décisionnels de Markov : la taille des instances considérées. Notre deuxième contribution se focalise sur les techniques de décomposition qui est une solution de type "diviser pour régner" au problème de résolution de Processus Décisionnels de Markov de grandes tailles. En effet, nous présentons un algorithme "efficace" de résolution de Processus Décisionnels de Markov décomposés.

There has been much research about planning under uncertainty in Artificial Intelligence these last years. Such a form of planning often uses Markov Decision Processes (MDPs). In this thesis, the focus is on both the formalization of MDPs and their resolution techniques. Our contribution is illustrated by means of the example of the NASA rover, which is a mobile meteorological station that must autonomous and capable of taking different meteorological measures on several geographic sites. The first contribution of the thesis concerns the applicability of MDPs to the rover and an improvement of one of the resolution algorithms. It also illustrates the tractability limits of such approaches for tractable instances. In the spirit, a second contribution of the thesis concerns decomposition techniques for large MDPs in order to boost their resolution.