Amélioration du diagnostic et du pronostic dans des conditions de données rares et de connaissances limitées par l'apprentissage automatique informé par la physique et auto-supervisé

Improving diagnostics and prognostics in sparse data and scarce knowledge conditions by physics-informed and self-supervised machine learning

• Auteur / Autrice : Weikun Deng
• Direction : Kamal Medjaher, Thi Phuong Khanh Nguyen
• Type : Thèse de doctorat
• Discipline(s) : Génie Industriel
• Date : Soutenance le 07/11/2024
• Etablissement(s) : Université de Toulouse (2023-....)
• Ecole(s) doctorale(s) : École doctorale Systèmes (Toulouse ; 1999-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Génie de Production (Tarbes ; 1989-....)
• Partenaire(s) de recherche : Etablissement délivrant conjointement le doctorat : Institut national polytechnique (Toulouse ; 1969-....)
• Jury : Président / Présidente : Saïd Noureddine Zerhouni
• Jury : Examinateurs / Examinatrices : Kamal Medjaher, Thi Phuong Khanh Nguyen, Saïd Noureddine Zerhouni, Enrico Zio
• Jury : Rapporteur / Rapporteuse : Mitra Fouladirad, Phuc Do Van

Mots clés

Mots clés contrôlés

Prévision

Apprentissage

Mots clés libres

Pronostic et Gestion de la santé

Données éparses

Connaissances rares

PIML

SSL

Modèle générique

Prognostics and health management

Sparse data

Scarce knowledge

PIML

SSL

Generic model

Résumé

Cette thèse aborde le défi des « données éparses et des connaissances rares » dans le développement d’un modèle générique de pronostic et de gestion de la santé (PHM). Elle met en lumière l'efficacité des modèles hybrides combinant la modélisation basée sur la physique (PBM) et l'apprentissage automatique (ML), notamment l'apprentissage automatique informé par la physique (PIML) et l'apprentissage auto-supervisé (SSL) pour apprendre à partir de données non étiquetées. La thèse apporte ainsi des contributions significatives aux théories PIML et SSL et à leurs applications pratiques dans le PHM.La première contribution est une solution générique d'architecture et de stratégie d'apprentissage pour le PIML. Diverses approches sont analysées et la théorie mimétique est proposée pour concevoir des neurones et connexions flexibles et physiquement cohérents, aboutissant au Réseau Neuronal Mimétique des Éléments Finis du Rotor (RFEMNN). Le RFEMNN reconnaît efficacement les défauts à travers diverses structures de rotor. Pour améliorer la capacité de diagnostic du RFEMNN avec peu de données, une stratégie d'apprentissage par renforcement alignée avec la physique est proposée. Une architecture générique PIML avec des branches PI et basées sur les données est développée, impliquant un processus en trois étapes : pré-formation de la branche basée sur les données, formation de la branche PI, et formation conjointe. Cette méthode assure des performances supérieures aux modèles basés sur les données dans un contexte de données éparses. De plus, le modèle CNN dilaté utilisant cette approche prédit efficacement la RUL des batteries lithium-ion avec des données de petits cycles. La deuxième contribution est une stratégie SSL pour l'apprentissage à partir de données non étiquetées, introduisant un modèle Siamese CNN-LSTM avec une fonction de perte contrastive personnalisée. Ce modèle extrait des représentations robustes en maximisant les différences dans les mêmes échantillons présentés dans des ordres séquentiels variés. Des tâches en aval sont proposées comme objectifs intermédiaires pour aligner les représentations avec les exigences en aval. Le modèle Siamese CNN-LSTM excelle à prédire la RUL sur le dataset PRONOSTIA et reste stable même avec une augmentation de la rareté des données d'apprentissage.La contribution finale étend les concepts de PIML pour la découverte active des connaissances sur des données non étiquetées et intègre le SSL dans la formation PIML en trois étapes. Une nouvelle structure PI liquide et un modèle PI-CNN-Selective state space model (CNN-SSM) sont développés. Liquid PI introduit des neurones à portes et des connexions liquides qui s'adaptent dynamiquement, acquérant des connaissances physiques grâce à une recherche optimisée. Appliquée dans le suivi du couple des manipulateurs robotisés, cette approche découvre des connaissances en utilisant des opérateurs physiques de base et des poids dynamiques. Le Liquid PI CNN-SSM traite des séquences d'entrée de longueur variable sans prétraitement du signal, optimisant les ressources en nécessitant seulement 600 KB pour gérer 23,9 GB de données. Il atteint des performances de pointe dans des tâches de pronostic mixtes, y compris la dégradation des roulements, l'usure des outils de coupe, le vieillissement des batteries et la fatigue des tubes CFRP. Les travaux futurs appliqueront des lois d'échelle spécifiques au PHM et utiliseront de vastes ensembles de données synthétiques et industrielles pour construire un macro-modèle. Ce modèle pourrait intégrer des capacités de diagnostic et de pronostic avec un traitement de séquence infinie, transformant les méthodologies et les solutions de PHM.

This thesis addresses the critical challenge of “sparse data and scarce knowledge” in developing a generic Prognostics and Health Management (PHM) model. A comprehensive literature review highlights the efficacy of hybrid models combining physics-based modeling with machine learning, focusing on Physics-Informed Machine Learning (PIML) and Self-Supervised Learning (SSL) for enhanced learning from unlabeled data. Thereby, this thesis contributes to advancing both PIML and SSL theories and their practical applications in PHM.The first contribution is developing a generic architectural and learning strategy solution for PIML. Various informed approaches are analyzed, and the mimetic theory is proposed to design flexible, physically consistent neurons and interlayer connections. This novel approach leads to the development of the Rotor Finite Elements Mimetic Neural Network (RFEMNN), which mimics rotor finite element-based dynamics to adjust weight distribution and data flow within the neural network. RFEMNN effectively localizes and recognizes compound faults across multiple rotor structures and conditions. To enhance RFEMNN's few-shot diagnostic capability, constraint projection theory and a reinforcement learning strategy are proposed, aligning the learning process with physics. A generic PIML architecture with parallel, independent PI and data-driven branches is proposed, involving a three-stage training process: pre-training the data-driven branch, freezing it to train the PI branch, and joint training of both branches. This method combines optimized local branches into a comprehensive global model, ensuring the PIML model's performance exceeds original data-driven models under spare data context. Moreover, the solid electrolyte interphase growth-informed Dilated CNN model using this approach showcases its superiority, surpassing leading models in predicting lithium-ion battery RUL with small-cycle data.The second contribution is developing an innovative SSL strategy for unlabeled data learning, introducing a Siamese CNN-LSTM model with a custom contrastive loss function. This model extracts robust feature representations by maximizing differences in the same samples presented in varied sequential orders. Variants of downstream tasks are proposed as intermediate objectives in SSL pretext learning, integrating downstream structures into the pre-training model to align representations with downstream requirements. Under this strategy, the proposed Siamese CNN-LSTM excels at predicting RUL on PRONOSTIA-bearing dataset and remains stable even as training data sparsity increases.The final contribution extends PIML concepts for active knowledge discovery on unlabeled data and integrates SSL into the second phase of PIML's three-step training, utilizing both labeled and unlabeled data. A novel Liquid PI structure and an end-to-end Liquid PI-CNN-Selective state space model (CNN-SSM) are developed. The Liquid PI design introduces gated neurons and liquid interlayer connections that adapt dynamically, acquiring physics knowledge through an optimized search within a predefined operator pool. Demonstrated in torque monitoring of robot manipulators, this approach efficiently discovers knowledge using basic physical operators and dynamic weights from unlabeled data. The Liquid PI CNN-SSM processes variable-length input sequences without signal preprocessing, optimizing resources by requiring only 600 KB to handle 23.9 GB of data. It achieves state-of-the-art performance in mixed prognostic tasks, including bearing degradation, tool wear, battery aging, and CFRP tube fatigue, showcasing the originality and versatility of the proposed approach.Future work will apply PHM-specific scaling laws and train on extensive synthetic and industry datasets to build a cross-modal macro-model. It could integrate diagnostic-prognostic capabilities with infinite sequence length processing, continuing to transform PHM methodologies and solutions.