Apprentissage profond des représentations pour le pronostic et management de la santé

Deep learning representations for prognostics and health management

• Auteur / Autrice : Alaaeddine Chaoub
• Direction : Christophe Cerisara, Alexandre Voisin
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 10/07/2024
• Etablissement(s) : Université de Lorraine
• Ecole(s) doctorale(s) : École doctorale IAEM Lorraine - Informatique, Automatique, Électronique - Électrotechnique, Mathématiques de Lorraine (1992-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire lorrain de recherche en informatique et ses applications
• Jury : Président / Présidente : Bernardetta Addis
• Jury : Examinateurs / Examinatrices : Christophe Cerisara, Alexandre Voisin, Emmanuel Ramasso, Céline Hudelot, Birgit Vogel-Heuser, Raphaël Couturier
• Jury : Rapporteur / Rapporteuse : Emmanuel Ramasso, Céline Hudelot

Mots clés

Mots clés contrôlés

Analyse des données

Modélisation prédictive

Méta-apprentissage

Prévision

Durée de vie (ingénierie)

Apprentissage profond

Mots clés libres

Apprentissage profond

Pronostic et management de la santé

Prédiction de la durée de vie utile restante

Apprentissage auxiliaire

Méta-apprentissage

Interprétabilité

Deep learning

Prognostics and health management

Remaining useful life prediction

Auxiliary learning

Meta learning

Interpretability

Résumé

Cette thèse contribue à l'application de l'apprentissage Profond (Deep Learning) dans la prédiction de la durée de vie résiduelle (Remaining Useful Life) des équipements industriels, en traitant plusieurs défis importants. Notre recherche est motivée par des questions clés visant à développer des architectures et méthodes d'apprentissage profond pour pronostique la RUL sous diverses conditions opérationnelles, à améliorer l'interprétabilité des modèles et à faire face au manque de données en exploitant des données externes (non) labellisées. Nous avons structuré notre travail en deux parties principales. Dans la première partie, nous explorons des architectures capables de gérer la variabilité des données résultant de différentes conditions opérationnelles, sans sélection des données d'entrée. Cela nous a mené à la proposition d'une architecture MLP-LSTM-MLP. En employant un MLP en entrée, nous avons pu normaliser les représentations, améliorant ainsi les performances de prédiction malgré plusieurs conditions opérationnelles. De plus, pour améliorer l'interprétabilité, nous avons proposé de remplacer ce premier étage de MLP par un système de mélange d'experts (GMoE), permettant une décomposition interprétable basée sur les conditions opérationnelles. La seconde partie de la thèse aborde le problème de la rareté de données, un défi largement reconnu dans le domaine du pronostic et management de la santé (PHM). En introduisant des adaptateurs, c'est-à-dire des couches spécifiques aux différentes tâches qui permettent le traitement de différentes structures d'entrée/sortie, nous avons proposé une approche d'entrainement auxiliaire qui exploite des données labellisées externes, présentant une méthode qui surpasse les techniques traditionnelles trouvées dans la littérature. De plus, pour exploiter les données externes non étiquetées pour l'apprentissage auxiliaire, nous avons proposé une approche de méta-apprentissage pour déterminer automatiquement les objectifs auxiliaires à partir de ces données en les pseudo-étiquetant d'une manière qui prend en compte la tâche principale. L'objectif de cette partie de la thèse était d'exploiter un spectre plus large de données disponibles pour améliorer la performance de la prédiction de la durée de vie résiduelle. En faisant une réflexion sur notre travail, nous reconnaissons les limites des approches que nous avons proposées et nous indiquons des orientations immédiates et à long terme pour la recherche future. Celles-ci incluent le fait de relever les défis du traitement des données séquentielles longues, d'améliorer davantage l'interprétabilité des modèles, de s'attaquer à la rareté de données avec des méthodologies de formation plus avancées, et d'explorer le potentiel de l'apprentissage fédéré et des grands modèles de langage dans les contextes industriels.

This thesis contributes to the application of Deep Learning (DL) in Remaining useful life (RUL) prediction of industrial equipment, addressing significant challenges in this field. Our research is driven by the need to develop DL architectures that mitigate performance degradation under various operating conditions, to improve model interpretability, and to address data scarcity by leveraging external (un)labeled data. We structured our work into two principal parts. In the first part, we explore architectures capable of handling data variability resulting from different operating conditions, without manual feature engineering. This led us to propose an MLP-LSTM-MLP architecture. By employing an MLP at the first stage, we were able to normalize this variability, thus improving performances under such settings. Furthermore, To enhance interpretability, we proposed to replaced the first-stage MLP stage with a Gated mixture of experts (GMoE) system, enabling interpretable decomposition based on operating conditions. The second part of the thesis addresses the issue of data scarcity, a widely recognized challenge in the Prognostics and health management (PHM) field. Through the introduction of adapters, i.e. task-specific layers that address the challenge of handling multiple input/output structures, we proposed an auxiliary training approach that leverages external labeled data, presenting a method that surpasses traditional techniques found in the literature. Moreover, to utilize external unlabeled data in auxiliary training, We proposed a meta-learning approach to automatically derive auxiliary objectives from these data by pseudo-labeling them in an end-task aware manner. The goal of this part was to leverage broader spectrum of available data to improve RUL prediction performances. In reflecting upon our work, we acknowledge the limitations of the proposed approaches and suggest both immediate and long-term directions for future research. These include tackling the challenges of processing long sequence data, further improving model interpretability, addressing data scarcity with more advanced training methodologies, and exploring the potential of federated learning and large language models in industrial settings.