Définition d'une architecture pilotée par un système de propriétés temporelles pour la gestion de modèle IA avec renforcement learning.

Architecture definition driven by a system of temporal properties for the management of AI model with reinforcement learning

• Auteur / Autrice : Mohamed El kharroubi
• Direction : Fabrice Mourlin
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 01/11/2021
• Etablissement(s) : Paris 12
• Ecole(s) doctorale(s) : École doctorale Mathématiques, Sciences et Technologies de l'Information et de la Communication
• Partenaire(s) de recherche : Laboratoire : LACL - Laboratoire d'Algorithmique, Complexité et Logique

Mots clés

Mots clés libres

Architecture logicielle

Intelligence artificielle

Modèle checking

Apprentissage par renforcement

Propriétés temporelles

Software architectures

Artificial intelligency

Model checking

Reinforcement Learning

Temporal properties

Résumé

L'apprentissage automatique (machine learning), est une forme d'intelligence artificielle (IA) qui permet à un système d'apprendre à partir des données et non à l'aide d'une programmation explicite. Cependant, l'apprentissage automatique n'est pas un processus simple. Au fur et à mesure que les algorithmes ingèrent les données d'apprentissage', il devient possible de créer des modèles plus précis basés sur ces données. Un modèle de machine learning est le résultat généré lorsque l'on entraîne un algorithme d'apprentissage automatique avec des données. Après cet entrainement, lorsque l'on fournit des données en entrée à un modèle, on reçoit une prédiction en sortie. Ainsi, l'apprentissage automatique nécessite d'appliquer un ensemble de données adéquat à un processus d'apprentissage. Avec le Big Data, il est désormais possible de virtualiser les données pour qu'elles puissent être stockées de la manière la plus efficace et la plus rentable pour l'apprentissage des modèles, que ce soit sur site ou dans le cloud. En outre, les améliorations de la vitesse et de la fiabilité du réseau ont fait disparaître d'autres limitations physiques liées à la gestion de quantités massives de données à une vitesse acceptable. Alors que nous sommes de plus en plus un contexte dicté par les données et l'analytique, les modèles d'apprentissage automatique sont devenus les principaux moteurs des décisions commerciales. Et comme pour toute autre stratégie d'entreprise, ces modèles doivent être révisés au fil du temps, la raison technique de cette révision étant la "dérive du modèle". Si la plupart des articles définissent le cycle de vie de l'apprentissage machine (ML), qui commence par la collecte de données et se termine par le déploiement du modèle ML dans l'environnement concerné [1], ils oublient une caractéristique très importante du cycle de vie ML, à savoir la dérive du modèle. En raison de cette dérive, le modèle devient instable et les prédictions continuent à être erronées avec le temps [2]. La dérive des modèles (ou drift) peut être classée en deux grandes catégories. Le premier type est appelé "dérive du concept". Cela se produit lorsque les propriétés statistiques de la variable cible elle-même changent. Si la signification même de la variable que nous essayons de prédire change, le modèle ne fonctionnera pas vraiment bien pour cette nouvelle définition. Le deuxième type, le plus courant, est la "dérive des données". Cela se produit lorsque les propriétés statistiques des prédicteurs changent. Là encore, si les variables sous-jacentes changent, le modèle est voué à l'échec. Un exemple classique de ce genre de situation est le changement des modèles de données en raison d'un événement capital (après le début d'une pandémie par exemple). Le besoin apparaît donc de mettre en place une architecture logicielle pour l'apprentissage tout au long de la vie d'un modèle IA [3] sans interruption de service.

Machine learning is a form of artificial intelligence (AI) that allows a system to learn from data rather than through explicit programming. However, machine learning is not a simple process. As algorithms ingest learning data' it becomes possible to create more accurate models based on that data. A machine learning model is the result generated when a machine learning algorithm is trained with data. After this training, when data is provided as input to a model, it receives a prediction as output. Thus, machine learning requires applying a proper data set to a learning process. With Big Data, it is now possible to virtualize data so that it can be stored in the most efficient and cost-effective way for model learning, whether on-premises or in the cloud. In addition, improvements in network speed and reliability have removed other physical limitations associated with handling massive amounts of data at an acceptable speed. As we become more of a data-driven and analytics-driven environment, machine learning models have become the primary drivers of business decisions. And like any other business strategy, these models need to be revised over time, the technical reason for this revision being "model drift." While most articles define the machine learning (ML) lifecycle, which starts with data collection and ends with the deployment of the ML model in the relevant environment [1], they forget one very important feature of the ML lifecycle, namely model drift. Due to this drift, the model becomes unstable and predictions continue to be wrong over time . Model drift can be classified into two broad categories. The first type is called "design drift". This occurs when the statistical properties of the target variable itself change. If the very meaning of the variable we are trying to predict changes, the model will not really work well for this new definition. The second and more common type is "data drift." This occurs when the statistical properties of the predictors change. Again, if the underlying variables change, the model is bound to fail. A classic example of this is when data models change due to a critical event (after the onset of a pandemic for example). The need therefore arises to implement a software architecture for lifelong learning of an AI model without downtime.