Probabilistic and non-probabilistic measures of risk in Markov-type systems for planning under uncertainty

• Auteur / Autrice : Hélène Soubaras
• Direction : Isabelle Bloch, Éric Moulines
• Type : Thèse de doctorat
• Discipline(s) : Signal et images
• Date : Soutenance en 2011
• Etablissement(s) : Paris, Télécom ParisTech

Mots clés

Mots clés contrôlés

Gestion des crises

Markov, Processus de

Systèmes d'aide à la décision

Résumé

Dans les applications comme la gestion de crise, le rôle du décideur est crucial. Car s'il fait rapidement un bon choix des actions à mener, il peut éviter une part importante de pertes humaines et financières. Notre objectif est de fournir des algorithmes d'aide à la décision. Nous supposerons que le système à gérer suit un modèle de Markov, qui est adéquat dans de nombreux cas (phénomènes de propagation. . . ). Nous cherchons à définir des mesures de risque en guise de critère de décision dans de tels systèmes, ce qui nous amènera à définir un processus de décision Markovien (MDP) capable de fonctionner dans l'incertitude. La motivation de cette thèse est d' abord d'examiner des mesures de risque probabilistes et proposer des algorithmes pour leur mise en œuvre dans les systèmes modélisés par chaînes de Markov. Mais la principale difficulté dans la gestion précoce de crise est que les données ne sont pas encore en quantité suffisante pour établir un modèle probabiliste. Ceci est dû à l'incertitude sur ce qui est en train de se passer, le manque d'observations et leur imprécision (ex: informations textuelles). C'est pourquoi nous considérerons une généralisation des chaînes de Markov à la théorie des fonctions de croyance, appelée EMC (Evidential Markov chain), qui a été proposée par Pieczynski et al. Nous l'utiliserons pour proposer une nouvelle mesure de risque et l'introduire dans un nouveau modèle de MDP généralisé que nous appellerons EMDP (Evidential MDP). Les principaux résultats sont: - un algorithme pour prédire le risque dans les chaînes de Markov; - un algorithme pour prédire le risque dans les modèles de Markov spatio-temporels; - un algorithme pour prédire le risque dans les EMC ; - la simulation d'une crise avec un EMC ; - des mesures évidentielles d'incertitude applicables au risque (capacité de canal généralisée) ; - un nouveau modèle l'EMDP (Evidential MDP); - un algorithme pour résoudre l'EMDP ; - une application d'un EMDP sur un robot search-and-rescue. Les cas d'étude seront: - une crise géopolitique; - un benchmark du concours de planification IPC (International Planning Competition) en robotique search-and-rescue ; - des petits exemples de gestion de crise.

On applications such as crisis management, the decision-maker's role is crucial. Indeed, if he performs a good and early choice of what actions to do, taking into account his limited available resources, he can avoid an important part of human or financial losses. We focus on a Markov modeling of a system, which is suitable in many situations (propagating phenomena. . . ). We aim at defining risk measures as decision criteria in such systems that wililead to define a robust Markov Decision Process (MDP) [107]. The motivation of this thesis is first examining probabilistic risk measures, and we consider Markov chain modeling of systems for this. But the main difficulty in applications such as early crisis management is that the data are missing for determining a probabilistic model, due to the uncertainty about what may happen, the lack of observations at the very beginning of a crisis, and their imprecision (e. G. Textual information). This is why we shall consider a generalization of the Markov chain called Evidential Markov Chain (EMC) [75], to the DS's Theory of Evidence [121]. We shall use this generalization in order to propose a new measure of risk and involve it in a generalized MDP (Evidential MDP). The main results of this thesis are: - an algorithm for forecasting risk in Markov chains; - an algorithm for forecasting risk in Markov space-time model; - an algorithm for forecasting risk in Evidential Markov Chains; - the simulation of a crisis with an Evidential Markov Chain; - evidential measures of uncertainty applicable to risk (generalized channel capacity); - an algorithm for solving the Evidential MDP (EMDP); - application of the EMDP on a search-and-rescue robot. These contributions will be illustrated on the following case studies: - a geopolitical crisis; - a benchmark of the IPC (International Planning Competition) in robotics for searchand-rescue; - small examples of crisis management