L'apprentissage multivue avec vues manquantes et solutions d'apprentissage pour la modélisation inter-process dans l'industrie des semi-conducteurs

Multiview Learning with Missing Views and Learning Solutions for Cross-Process Modeling in Semiconductor Manufacturing Industry

• Auteur / Autrice : Anastasiia Doinychko
• Direction : Massih-Reza Amini
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques et informatique
• Date : Soutenance le 06/02/2023
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale Mathématiques, sciences et technologies de l'information, informatique (Grenoble ; 1995-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique de Grenoble
• Partenaire(s) de recherche : Equipe de recherche : Algorithms, principles and theories for collaborative knowledge acquisition and learning (Grenoble)
• Partenaire(s) de recherche : Entreprise : Siemens Electronic Design Automation
• Jury : Président / Présidente : Georges Quénot
• Jury : Examinateurs / Examinatrices : Dominique Vaufreydaz, Marta Soare
• Jury : Rapporteurs / Rapporteuses : Puneet Gupta, Gaël Dias

Mots clés

Mots clés contrôlés

Apprentissage automatique

Reconnaissance multivues

Procédés de fabrication

Semiconducteurs

Mots clés libres

Contrôle avancé des procédés

Appentissage multi-Vues

Réseaux adverses génératifs

Advanced process control

Multiview learning

Generative adversarial networks

Résumé

Le contrôle avancé des procédés (ou Advanced Process Control - APC en anglais) est une direction de recherche dans l'industrie de la fabrication de semi-conducteurs (ou Semiconductor Manufacturing - SM en anglais) engagée dans le développement de diagnostics de processus automobiles et de solutions de gestion de produits pour préserver un rendement élevé en fin de ligne et réduire le risque de défaillance de l'équipement. Dans cette thèse, nous nous concentrons sur l'étude des approches basées sur l'apprentissage machine (ou Machine Learning en ML) pour développer un cadre unifié pour l'analyse et la modélisation des processus à partir de données SM multi-vues très diverses (provenant de différentes sources). Les fonctionnalités multi-vues globales donnent une description plus complète d'un phénomène, et l'apprentissage multi-vues est généralement mieux adapté que l'apprentissage mono-vue (ou à vue unique), ce qui motive ce travail. L'un des principaux défis ouverts dans le domaine APC dans SM est la capacité à tirer parti de la richesse des informations pour caractériser pleinement le processus et déterminer la valeur des nouvelles métriques. Dans cette thèse, nous analysons les techniques de traitement de données existantes et nous exposons une stratégie qui consiste en des étapes de nettoyage des données, d'extraction des caractéristiques et de sélection de variables pour faire face aux imperfections des données;telles que le bruit, les étapes d'échantillonnage irrégulières dans les données de séries chronologiques sensorielles et les enregistrements incomplets, tous dus au taux d'erreur de corruption naturelle des outils d'enregistrement. Cette thèse vise également à élargir le champ de la modélisation des processus traditionnels en SM grâce à l'analyse inter-processus. La fabrication du produit est une procédure séquentielle d'application de processus ordonnés pour déposer de nouvelles couches de fonctionnalité qui permettent d'utiliser l'historique des précédents pour connaître son impact sur la cible de modélisation actuelle d'intérêt. Dans ce sens, nous proposons une méthodologie qui bénéficie non seulement de différents types de mesures, mais également des dépendances entre les différentes étapes du processus pour rendre les processus plus prévisibles et productifs.De plus, nous étudions le problème des données manquantes, principalement lorsqu'une des vues est manquante, ce qui est un autre défi ouvert dans le domaine de l'apprentissage. Certaines études abordent ce problème en supposant l'existence de fonctions de génération de vues pour compléter approximativement les vues manquantes. Cependant, ces fonctions nécessitent généralement une ressource externe pour être définies, et leur qualité impacte directement les performances du modèle prédictif final appris sur l'ensemble d'apprentissage terminé. Au lieu de cela, dans ce travail, nous proposons d'aborder ce problème en apprenant conjointement les vues manquantes et l'estimateur cible multi-vues en utilisant une approche d'apprentissage antagoniste inspirée par la capacité des réseaux antagonistes génératifs (ou Generative Adversarial Netwotks - GAN en anglais) à saisir la distribution sous-jacente des données et créer de nouveaux échantillons. Finalement, nous considérons les tâches APC telles que la métrologie virtuelle et la maintenance prédictive pour mener des expériences en utilisant les collections de données réelles fournies par les principales compagnies de fabrication de fabrication de semi-conducteurs en Europe avec lesquelles nous avons collaboré, dans le cadre du projet MADEin4'. De plus, étant donné que le problème des données manquantes dans les collections multi-vues est répandu dans différents ensembles de données au-delà de l'industrie SM, nous envisageons des expériences avec des ensembles de données similaires (par défis et nature des données), comme les collections de données multilingues et les données médicales.

Advanced Process Control (APC) is a research direction in the Semiconductor Manufacturing (SM) industry engaged in developing automotive process diagnostic and product management solutions to preserve high end-of-line yield and reduce the risk of equipment failure. In this thesis, we investigate Machine Learning (ML) based approaches to developing a unified framework for process analysis and modeling from highly diversified multi-view (that comes from different sources) SM data. Overall, multi-view features give a more comprehensive description of a phenomenon, and a well-designed multi-view learning strategy has better generalization ability than single-view learning, which justifies an appropriate research effort. One of the leading open challenges in the APC field in SM is the ability to leverage the wealth of information in order to fully characterize the process and determine the value of new measurements. Accordingly, we start with the analysis of existing data treatment techniques and their limitations. Then, we focus on proposing a strategy that consists of data cleaning, features extraction, and features selection steps to deal with data imperfections usually expected in the field, like noise, irregular sampling steps in sensory time series data, and incomplete records, all due to natural corruption-error rate of recording tools. Next, this thesis intends to expand the scope of traditional process modeling in SM by cross-process analysis. Product manufacturing is a sequential procedure of applying ordered processes to deposit new layers of features; then, one can use the precedent history to learn its impact on the current modeling target of interest. Accordingly, we propose a methodology that benefits not only from different types of measurements but from dependencies between different process steps to make processes more predictable and productive. Moreover, we study the problem of missing data, mainly when one of the views is entirely missing, which is another open challenge in the field. Some studies tackle this problem by assuming the existence of view generation functions to approximately complete the absent views. However, these functions generally require an external resource to be set, and their quality directly impacts the performance of the final predictive model learned over the completed training set. Instead, in this work, we propose to address this problem by jointly learning the missing views and the multi-view target estimator using an adversarial learning approach inspired by the ability of Generative Adversarial Networks (GANs) to seize the underlying distribution of the data and create new samples. Finally, for all the hypotheses introduced above in this work, we consider the APC tasks like Virtual Metrology (VM) and Predictive Maintenance (PdM) to conduct experiments using the real data collections provided by leading in Europe SM fabrication facilities that we collaborated with, within the scope of the Metrology Advances for Digitized Electronic Components and Systems (ECS) Industry 4.0 (MADEin4) Project. Moreover, since the problem of missing data in multi-view collections is widespread in different data sets beyond the SM industry, we consider experiments with similar data sets (by challenges and data nature), like multi-lingual data collections and real world Electronic Health Record (EHR) data.