Méthodes d'apprentissage par renforcement appliquées au diagnostic et au pronostic: application aux micro-capteurs et aux systèmes

Project title: Reinforcement learning methods applied to diagnosis and prognosis: application to micro-sensors and RE systems

• Auteur / Autrice : Halil Turan
• Direction : Mohand Djeziri
• Type : Projet de thèse
• Discipline(s) : Sciences pour l'ingénieur : spécialité Micro et Nanoélectronique
• Date : Inscription en doctorat le 01/10/2023
• Etablissement(s) : Aix-Marseille
• Ecole(s) doctorale(s) : Ecole Doctorale Sciences pour l'Ingénieur : Mécanique, Physique, Micro et Nanoélectronique
• Partenaire(s) de recherche : Laboratoire : IM2NP - Institut Matériaux Microélectronique Nanosciences de Provence

Mots clés

Mots clés libres

Apprentissage par renforcement

Diagnostic

Pronostic

Capteurs

Systèmes dynamiques

Reinforcement learning

Diagnosis

Prognosis

Sensors

Dynamic systems

Résumé

L'anticipation des événements est devenue de plus en plus un enjeu économique et sécuritaire important dans plusieurs domaines comme l'énergie et l'environnement. L'enjeu du pronostic réside dans le fait que l'évolution future d'un événement ou d'une situation dépend de plusieurs facteurs, dont certains sont inconnus. Les systèmes et capteurs industriels sont des cas particuliers, où l'évolution de l'événement(estimation d'un défaut ou d'une variable physique) dépend de l'état du système, de son environnement et de ses points de fonctionnement. Prédire avec précision l'évolution temporelle de ces conditions nécessite une évolution en temps réel de la structure du modèle de prédiction, de ses paramètres, mais aussi de ses entrées. Ainsi, les outils d'apprentissage par renforcement (modèles generatifs) peuvent constituer une approche prometteuse dans le développement d'algorithmes de pronostic. L'Université d'Aix Marseille (AMU) s'implique particulièrement dans ces recherches à travers l'Institut des Matériaux, Microélectronique et Nanosciences de Provence (IM2NP), en développant des méthodes et algorithmes de détection, d'estimation et de prédiction appliqués dans des domaines variés, allant de la micro-électronique et microcapteurs aux systèmes à grande échelle [7-14]. IM2NP-Lab fournit des installations pour fabriquer et tester des prototypes de capteurs de gaz, en étroite collaboration avec des partenaires industriels locaux et nationaux [1-3]. Dans ce projet de doctorat, nous explorerons le potentiel des outils d'apprentissage régénératif en mettant l'accent sur la mise à jour en ligne des modèles (structure et paramètres) et de leurs entrées, ainsi que sur le prétraitement des données brutes pour l'extraction d'informations utiles et la prise de décision pour donner à l'utilisateur final un intervalle de confiance. En effet, les outils d'apprentissage par renforcement offrent la possibilité de traiter un problème combiné de classification/régression et d'optimisation en ligne d'entrées, de paramètres ou de structure. Les performances des méthodes qui seront développées dans cette thèse seront comparées aux performances d'autres méthodes telles que l'apprentissage approfondi, les modèles géométriques et les modèles markoviens. Ces méthodes seront appliquées dans desdomaines différents pour mettre en évidence leur généricité : - Le domaine des micro-capteurs de gaz où les algorithmes développés seront embarqués en ligne pour la prédiction de l'évolution des événements de pollution gazeuse. qui permettra aux décideurs politiques et aux industriels de prendre les bonnes décisions afin de limiter, réduire ou inverser les courbes de pollution. Le support des applications est disponible chez IM2NP, équipe MCI - Dans le domaine de l'énergie pour la prédiction de l'autosuffisance énergétique des systèmes multisources. Un support de candidature est disponible au service GEII de Salon de Provence. - Dans le domaine du disgnostic et pronostic de défaillances des systèmes dynamiques (aéronautique)

Anticipating events has increasingly become an important economic and security issue in several areas such as energy and the environment. Prognosis issue lies in the fact that the future evolution of an event or a situation depends on several factors, some of which are unrelated. Industrial systems and sensors are particular cases, where the evolution of the event (fault or physical variable estimation) depends on the state of the system, its environment, and its operating points. Predicting accurately the temporal evolution of these conditions, requires a real-time evolution of the structure of the prediction model, its parameters, and also its inputs. Thus, reinforcement-learning tools can constitute a promising approach in the development of prognostic algorithms. Aix Marseille University (AMU) is particularly involved in this research through the Institute of Materials, Microelectronics and Nanosciences of Provence (IM2NP), by developing methods and algorithms for detection, estimation and prediction applied in various fields, ranging from micro-electronics and microsensors to large-scale systems [7-14]. IM2NP-Lab provides facilities for manufacturing and testing prototypes of gas sensors, in close collaboration with local and national industrial partners [1-3]. In this PhD project, we will explore the potential of regenerative learning tools with an emphasis on the online updating of models (structure and parameters) and its inputs, as well as the preprocessing of raw data for extraction of useful information and decision making to give the end user a confidence interval. Indeed, reinforcement learning tools offer the possibility of treating a classification or regression problem simultaneously with an online optimization problem of inputs, parameters or structure. The performance of developed methods in this PhD proposed will be compared to the performance of other methods such as deep learning, geometric models and Markovian models. These methods will be applied in two different fields to highlight their genericity: - The field of gas micro-sensors where the algorithms developed will be embedded online for the prediction of the evolution of gas pollution events. which will allow political decision-makers and industrialists to make the right decisions in order to limit, reduce or reverse pollution curves. Application support is available at IM2NP, MCI team. - In the field of RE for the prediction of energy self-sufficiency of multi-source systems. Application support is available at the GEII department in Salon de Provence.