Prise de décision interprétable dans des environnements complexes pilotés par des événements : un cadre hybride d'apprentissage par renforcement et de logique temporelle

Interpretable Decision-Making in Complex Event-Driven Environments: A Hybrid Reinforcement Learning and Temporal Logic Framework

• Auteur / Autrice : Ivelina Stoyanova
• Direction : David Filliat
• Type : Projet de thèse
• Discipline(s) : Informatique, données, IA
• Date : Inscription en doctorat le 01/11/2022
• Etablissement(s) : Institut polytechnique de Paris
• Ecole(s) doctorale(s) : École doctorale de l'Institut polytechnique de Paris
• Partenaire(s) de recherche : Laboratoire : U2IS - Unité d'Informatique et d'Ingénierie des Systèmes
• Partenaire(s) de recherche : Equipe de recherche : SAR - Systèmes Autonomes et Robotique

Mots clés

Mots clés libres

Apprentissage par renforcement

Logique temporelle

Intelligence artificielle

Interprétable

Traitement d'événements

Reinforcement learning

Temporal logic

Artificial intelligence

Interpretable

Event processing

Résumé

Le cœur de métier d'entreprises de sécurité peut porter sur la conception et le déploiement de systèmes complexes, fournissant une aide à la décision pour des utilisateurs opérationnels. À haut niveau, cette aide repose sur une analyse automatisée de la situation, c'est-à-dire une prise en compte des objets, leurs propriétés, attributs et relations, dans un traitement visant à répondre à des fonctions ou objectifs précis. Dans un contexte de surveillance, tel que la protection d'infrastructure ou l'aide à la personne, la situation est rendue par un ensemble de détections ou d'activations capteurs sous la forme d'événements. Ces événements doivent alors être contextualisés pour que leur interprétation automatisée soit la plus proche possible de la situation de laquelle ils témoignent. Une technique utilisée est le traitement d'événements complexes (CEP, Complex Event Processing) qui vise à retrouver des motifs d'événements significatifs dans un flux continu et déclencher les actions appropriées. On distingue un événement simple, une détection réalisée par un capteur (ou toutes sources externes au moteur de traitement), d'un événement complexe, résultat d'une inférence initiée par l'identification d'un motif d'événements. Un motif est une formule de logique mathématique (standard et temporelle) construite sur la base des types d'événements, leur contenu informatif et leur placement temporel. La reconnaissance de situation d'intérêt est alors réalisée par l'activation de règles de traitement d'événements pour lesquelles la prémisse est la forme logique à retrouver dans le flux des événements et la conclusion est l'action appropriée. Or, l'élaboration d'une base de règles exhaustive, correcte et interprétable est un exercice difficile à faire à la main. Le succès relativement récent des méthodes d'apprentissage automatique, supervisées ou semi-supervisées, ainsi que les modèles d'attention, permet d'envisager une solution à ce problème. Cependant, en plus du fait qu'il faudrait des ensembles d'apprentissages en volumétrie suffisante, le problème que l'on cherche à résoudre n'est pas un problème de classification ou de séparation de données. Car si l'objectif est d'associer une situation à un motif d'événements (problème de classification), il faut aussi prendre en considération l'effet de cette association (au travers de l'action appliquée en cas de reconnaissance). Cela correspond davantage à définir une interaction avec un environnement. L'apprentissage correspondant est l'apprentissage par renforcement (RL, Reinforcement Learning), durant lequel l'agent apprenant doit construire une politique de décision, optimisant une fonction de gain global. Cette politique lui permet de choisir l'action appropriée à appliquer selon l'état de l'environnement qui lui est donné. Les algorithmes de RL les plus efficaces aujourd'hui reposent sur des modèles de réseaux de neurones de plus en plus volumineux rendant difficile l'interprétabilité et l'explicabilité de la politique de décision apprise, deux composantes primordiales dans l'usage industriel de ces algorithmes. D'autant plus que la Commission Européenne discute d'obligations légales vis-à-vis des fournisseurs de solution intégrant ce type de technologie (certificat de validité, preuve de fonctionnement, etc.). Sur le plan de la modélisation, l'intégration d'événements dans l'apprentissage par renforcement a un impact sur le modèle Markovien sous-jacent. En effet, si l'on représente l'état de l'environnement par l'arrivée d'un nouvel événement, alors, compte-tenu du fait qu'une activité déclenche plusieurs événements successivement, la décision associée à sa reconnaissance dépend alors des états précédents. En effet, chaque état est le même que le précédant incrémenté d'un nouvel événement. De plus, dans une modélisation Markovienne, l'action caractérise la transition d'état. Or, la réalisation d'une activité et la reconnaissance d'une activité sont deux taches indépendantes, puisque le fait qu'elle ait lieu n'implique pas qu'on l'identifie, et à l'inverse, le fait qu'elle soit reconnue n'implique pas nécessairement que l'activité s'arrête. En revanche, il est possible de définir un état de l'environnement, par exemple en terme du nombre d'activité en cours ou déjà reconnues, et des transitions d'états réalisées sur la base de l'identification d'une ou plusieurs activités par l'agent apprenant. Les événements perçus caractérisent alors un contexte, nécessairement lié au temps, permettant d'appliquer telle ou telle action, que l'agent doit apprendre à identifier pour maximiser son gain global. Mais alors, les méthodes exploitant les dimensions d'état pour définir des prémisses de règles de décision ne peuvent pas s'appliquer, puisque c'est le contexte défini par les événements et non pas l'état qui indique la possibilité d'utiliser telle ou telle action. Il s'agit donc d'enrichir l'état caché en prenant compte du contexte, dans une démarche d'abstraction temporelle des évènements perçus. L'apprentissage par renforcement d'une politique de décision interprétable, impliquant une dynamique d'environnement partiellement observée au travers de la diffusion d'événements, nécessite donc de redéfinir le modèle Markovien sous-jacent, pour lequel les transitions sont réalisées par des actions conditionnées par un certain contexte de l'environnement.

The core business of security companies often focuses on the design and deployment of complex systems, which provide decision support for operational users. At a high level, this support relies on the automated analysis of situations, meaning taking into account objects, their properties, attributes and relations, for a treatment designed to meet specific functions or objectives. In the context of surveillance, such as the protection of infrastructures or personal assistance, the situation is represented by a set of detections or activations of sensors under the form of events. These events must contextualized so that their automated interpretation is as close as possible to the actual situation that they originate from. A popular technique is the treatment of complex events (CEP, Complex Event Processing) that aims to find a motif of significant events in a continuous flux in order to activate an appropriate reaction. We define a simple event, as a detection made by a sensor (or any other external source of information), and a complex event, as the result of an inference initiated by the identification of a motif of events. A motif is defined as a logic based formula (standard or temporal) constructed using event types, their informational content and temporal placement. The recognition of a situation of interest is then realized by the activation of event treatment rules for which the premise is the logical formula, extracted from the flow of events, and the conclusion is the appropriate action. However, the establishing of a comprehensive rule base, that is reliable and easily interpretable, is an exercise difficult to achieve by hand. The relatively recent success of machine learning methods, supervised or semi-supervised, as well as attention models, could allow to consider a solution to this to this problem. Yet, in addition to the fact that we would need sufficiently large learning sets, the problem we are trying to solve is not a problem of classification or data separation. If the objective is to associate a situation to a motif of events (classification problem), we must also take into account the effect of this association (through the action applied in case of recognition). This corresponds to the definition of an interaction with the environment. The corresponding approach is Reinforcement Learning (RL) during which the learning agent must build a decision policy, optimizing a global payoff function. This policy then allows to choose the appropriate action to apply according to the state of the environment that is given. The most efficient RL algorithms today are based on neural network models that are becoming increasingly large, making difficult the interpretability and explicability of the learned decision policy. Those are two essential components in the industrial use of these algorithms. All the more so as the European Commission is discussing legal obligations towards suppliers of solutions integrating this type of technology (certificate of validity, proof of operation, etc.). In terms of modeling, the integration of events in reinforcement learning has a significant impact on the underlying Markov model. In fact, if we represent the state of the environment by the arrival of a new event and take into account the fact that an activity triggers several events successively, the associated decision to recognize set activity will also depend on previous states. In addition, in a Markov model, the action characterizes the state transition, however, the realization of an activity and its recognizing are two independent processes. The fact that the activity has taken place does not imply that it has been recognized, and inversely, the fact that it has been recognized does not necessarily imply that it has been stopped, defining a distinction between agent based and exogenous environment evolution. Despite these difficulties, it is possible to define the state of the environment, for example, as the number of activities in action or already recognized, and the transitions between states using identification of one or more activities by the learner agent. The perceived events thus characterize a context, necessarily linked to time, which allows to apply this or that action, which the agent must learn to identify in order to maximize its global gain. In that case however, methods exploiting state dimensions to define premises for decision rules cannot be applied, since it is the context that is defined by the events and not the state that indicates the possibility to use this or that action. The problem is thus a question of enriching the hidden environment state by taking account of the context, by representing it as a temporal abstraction of the previously perceived events. The usage of reinforcement learning for the defining of an interpretable decision policy, involving a dynamic environment that is partially observed through the dissemination of events, necessitates the redefinition of the underlying Markov model, for which the transitions are realized by actions conditioned on the environment context.