Stratégies d'apprentissage multimodal pour le diagnostic et le pronostic de la santé des machines industrielles dans un contexte de manque de données

Multimodal learning strategies for industrial machine health diagnostics and prognostics under data scarcity

• Auteur / Autrice : Sagar Jose
• Direction : Kamal Medjaher, Thi Phuong Khanh Nguyen
• Type : Thèse de doctorat
• Discipline(s) : Génie Industriel
• Date : Soutenance le 14/10/2024
• Etablissement(s) : Université de Toulouse (2023-....)
• Ecole(s) doctorale(s) : École doctorale Systèmes (Toulouse ; 1999-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Génie de Production (Tarbes ; 1989-....)
• Partenaire(s) de recherche : Etablissement délivrant conjointement le doctorat : Institut national polytechnique (Toulouse ; 1969-....)
• Jury : Président / Présidente : Christophe Bérenguer
• Jury : Examinateurs / Examinatrices : Kamal Medjaher, Thi Phuong Khanh Nguyen, Christophe Bérenguer, Ali Zolghadri, Louise Travé-Massuyès
• Jury : Rapporteur / Rapporteuse : Marcos Orchard, Piero Baraldi

Mots clés

Mots clés contrôlés

Usines -- Entretien

Gestion des données

Mots clés libres

Pronostic et gestion de la santé des systèmes (PHM)

Méthodes guidées par des données

Maintenance prédictive

Apprentissage profond

Apprentissage multimodal

Diagnostic et pronostic

Prognostics and health management (PHM)

Data-driven techniques

Predictive maintenance

Deep learning

Multimodal learning

Diagnostics and prognostics

Résumé

Les approches de Pronostic et gestion de la santé des systèmes (Prognostics and Health Management : PHM) guidées par les données sont fortement dépendantes de la disponibilité et de la qualité d’historiques de défaillances, une exigence souvent difficile à satisfaire dans les systèmes de surveillance en conditions industrielles. Cette divergence crée un écart significatif entre les méthodologies de PHM et leur application pratique sur des systèmes réels. L’accent prédominant mis sur les ensembles de données unimodales dans les travaux de recherche en PHM basée sur les données met en lumière le potentiel des données multimodales pour combler cet écart.Cette thèse explore l’intégration des données multimodales afin d’améliorer les méthodes et les algorithmes de PHM appliqués aux machines industrielles. Elle aborde de manière systématique des défis cruciaux tels que l’absence de données, les données bruitées, les données clairsemées et irrégulières, le déséquilibre des classes et la rareté des données de fonctionnement jusqu’à la défaillance. Elle propose des méthodologies innovantes qui intègrent plusieurs modalités de données et exploitent l’expertise spécifique au domaine pour créer des modèles prédictifs robustes.Les contributions principales de la thèse se déclinent comme suit :1. Apprentissage basé sur l’attention intermodale : une nouvelle méthode d’apprentissage multimodal conçue pour atténuer les limites posées par les données manquantes et bruitées. Elle permet d’intégrer des informations provenant de multiples modalités, améliorant ainsi la précision et la robustesse des modèles prédictifs.2. Méthodologie de diagnostic multimodal assisté par les connaissances d’experts : cette méthodologie combine l’expertise du domaine avec l’apprentissage multimodal pour permettre des diagnostics complets, améliorant ainsi la détection et la classification des défauts dans les machines industrielles.3. Approche de pronostic basée sur des graphes : cette approche innovante construit des trajectoires de fonctionnement jusqu’à la défaillance à partir de données incomplètes en utilisant des techniques basées sur les graphes, offrant une avancée significative dans le domaine du pronostic de défaillances.Ces méthodologies ont été rigoureusement validées sur des données de simulation ainsi que sur des données industrielles provenant d’hydro-générateurs, démontrant des améliorations significatives des algorithmes de PHM et de maintenance prédictive. Les résultats soulignent le potentiel des données multimodales pour améliorer considérablement la fiabilité et l’efficacité des modèles de PHM.Cette thèse apporte un cadre complet pour exploiter diverses sources de données et l’expertise du domaine, promettant de transformer les stratégies de maintenance et de réduire les coûts opérationnels dans diverses industries. Les résultats ouvrent la voie à des recherches futures et à des applications pratiques, positionnant l’intégration des données multimodales comme une avancée essentielle dans le domaine du PHM.

Prognostics and Health Management (PHM) with data-driven techniques is heavily dependent upon the availability of extensive and high-quality datasets, a requirement often challenging to fulfill in industrial condition monitoring environments. This discrepancy creates a significant gap between state-of-the-art PHM methodologies and their practical application in real-world scenarios. The prevailing focus in data-driven PHM research on unimodal datasets highlights the potential of multimodal data to bridge this gap.This thesis explores the integration of multimodal data to advance PHM models for industrial machines. It systematically addresses pivotal challenges such as data missingness and noise, sparse and irregular datasets, class imbalance, and the scarcity of run-to-failure data. The research develops innovative methodologies that incorporate multiple data modalities and harness domain-specific expertise to create robust predictive models.The primary contributions of this research include:1. Cross-modal attention-based learning: A new multimodal learning method is designed to mitigate the limitations posed by missing and noisy data. It allows integrating information across multiple modalities, thereby enhancing the accuracy and robustness of predictive models.2. Expert-knowledge-assisted multimodal diagnostics methodology: This methodology combines domain expertise with multimodal learning to enable comprehensive diagnostics, thereby improving fault detection and classification in industrial machinery.3. Graph-based prognostics approach: This innovative approach constructs run-to-failure trajectories from incomplete data using graph-based techniques, offering a significant advancement in failure prognostics.These methodologies were rigorously validated using both simulation and industrial dataset of hydrogenerators, demonstrating significant improvements in PHM and predictive maintenance capabilities. The results underscore the potential of multimodal data to significantly enhance the reliability and efficiency of PHM methods and algorithms.This thesis proposes a comprehensive framework for leveraging diverse data sources and domain expertise, promising to transform maintenance strategies and reducing operational costs across various industries. The findings pave the way for future research and practical implementations, positioning multimodal data integration as a pivotal advancement in the field of PHM.