Problèmes décisionnels de Markov temporels : formalisation et résolution

• Auteur / Autrice : Emmanuel Rachelson
• Direction : Frédérick Garcia, Patrick Fabiani
• Type : Thèse de doctorat
• Discipline(s) : Systèmes embarqués
• Date : Soutenance en 2009
• Etablissement(s) : Toulouse, ISAE

Mots clés

Mots clés contrôlés

Commande, Théorie de la

Modèles mathématiques

Markov, Processus de

Prise de décision (statistique)

Mots clés libres

Décision dans l'incertain

Problèmes de planification dépendant du temps

Contrôle de processus à événements discrets

Processus à événements implicites et explicites

Résumé

Cette thèse traite de planification dans l'incertain en environnement instationnaire. Nous cherchons à construire un agent logiciel autonome, capable de se coordonner avec l'évolution de son environnement. Cet environnement est constitué d'autres agents communiquant leurs intentions ou de processus concurrents non-contrôlables pour lesquels un modèle est disponible. Nous explorons plusieurs approches de modélisation d'une dépendance continue au temps dans le cadre des Processus Décisionnels de Markov (MDP), aboutissant à la définition des Problèmes Décisionnels de Markov Temporels. Puis, nous nous intéressons à deux paradigmes distincts. En premier lieu, nous considérons des modèles à événements implicites et les écrivons comme des MDP dépendants du temps (TMDP). Nous étendons l'équation d'optimalité classique et présentons un algorithme d'Itération de la Valeur utilisant des représentations polynômiales par morceaux que nous testons sur deux problèmes de planification pour drones. Ces conclusions permettent alors une discussion plus générale au sujet des actions paramétriques pour les MDP à temps observable. Dans un second temps, nous modélisons séparément les contributions concurrentes d'événements exogènes au système. Cette approche de modélisation à événements explicites mène aux Processus Décisionnels Semi-Markoviens Généralisés (GSMDP). Nous établissons un lien entre la théorie de Spécification des Systèmes à Evénements Discrets (DEVS) et le formalisme GSMDP, permettant ainsi la définition de simulateurs cohérents. Puis nous adoptons une approche d'Itération de la Politique fondée sur la simulation que nous testons sur un problème de contrôle d'un réseau de métro.