Débruitage par apprentissage profond d'images de microscopie électronique à balayage pour la reconstruction tridimensionnelle de microstructures

Deep learning denoising of scanning electron microscopy images for three-dimensional reconstruction of microstructures

• Auteur / Autrice : Sheikh Shah Mohammad Motiur Rahman
• Direction : Michel Salomon, Sounkalo Dembélé
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 01/10/2024
• Etablissement(s) : Bourgogne Franche-Comté
• Ecole(s) doctorale(s) : École doctorale Sciences Physiques pour l'Ingénieur et Microtechniques (Besançon ; 1991-....)
• Partenaire(s) de recherche : Laboratoire : FEMTO-ST : Franche-Comté Electronique Mécanique Thermique et Optique - Sciences et Technologies (Besançon) - Franche-Comté Électronique Mécanique- Thermique et Optique - Sciences et Technologies (UMR 6174) / FEMTO-ST
• Partenaire(s) de recherche : établissement de préparation : Université de Franche-Comté (1971-2024)
• Jury : Président / Présidente : Sylvain Contassot-Vivier
• Jury : Examinateurs / Examinatrices : Cédric Demonceaux, Olivier Haeberlé
• Jury : Rapporteurs / Rapporteuses : Stéphane Chrétien, Etienne Baudrier

Mots clés

Mots clés contrôlés

Apprentissage automatique

Traitement d'images

Mots clés libres

Apprentissage profond

Microscopie électronique à balayage

Dénoisage d'image

Estimation du bruit

Science matérielle

Apprentissage machine

Débruitage d'image

Deep learning

Scanning electron microscopy (SEM)

Image denoising

Noise estimation

Material science

Machine learning

Résumé

La microscopie électronique à balayage (MEB) est devenue un outil essentiel pour l'imagerie des structures à l'échelle micro et nanométrique dans divers domaines, notamment les sciences des matériaux, de la terre et de la vie. Cependant, les images délivrées par le MEB souffrent souvent d'un niveau de bruit élevé, qui est dû à des facteurs tels que le dwell time (ou la vitesse de balayage), c'est-à-dire la durée pendant laquelle le faisceau d'électrons reste sur la même position lors de l'acquisition de l'image. Bien que des dwell time plus longs puissent contribuer à réduire le bruit, ils peuvent également endommager l'échantillon, tandis que des dwell time plus courts accroissent le niveau de bruit. Par conséquent, un débruitage efficace est crucial pour améliorer la clarté et la précision des images MEB, ce qui est particulièrement important pour la reconstruction tridimensionnelle des microstructures.Ce travail a commencé par une évaluation complète des techniques de débruitage d'images, couvrant à la fois les méthodes classiques et les approches d'apprentissage profond (DL). Une taxonomie de ces solutions a été réalisée, décrivant leur évolution. Les dernières techniques de pointe ont été examinées et testées sur des images MEB, ce qui a permis d'identifier SCUNet comme réseau de débruitage de référence et de souligner la nécessité de l'estimation automatique du bruit.La classification initiale des types de bruit a été effectuée à l'aide de techniques d'apprentissage automatique, qui supposaient un bruit gaussien ou de Poisson sur la base de la littérature existante. Cependant, en raison des limites de ces techniques dans la classification précise des types de bruit dans les images des échantillons réels, des expériences approfondies ont été menées sur ces images. Ces expériences statistiques ont permis d'identifier les types de bruit gaussien et gamma. Notamment, le type de bruit passe de gaussien à gamma en fonction du dwell time : gaussien pour un dwell time grand et gamma pour un dwell time faible.Sur la base des résultats précédents, une approche basée sur l'apprentissage profond pour l'estimation automatique du bruit dans les images de microscopie électronique à balayage (MEB) a été proposée. Ce cadre, denommé EstimateNoiseSEM, se compose de deux réseaux : l'un pour identifier le type de bruit présent dans l'image et l'autre pour prédire le niveau de bruit. Cependant, cette approche a montré des limites en terme de traitement du bruit gamma, ce qui a conduit à une évolution vers un débruitage aveugle. Étant donné que le débruitage maximal en aveugle prend beaucoup de temps, un nouveau modèle capable de s'adapter au bruit réel présent dans l'échantillon a été mis au point. Cela a abouti à la création d'un cadre de débruitage aveugle adaptatif (ABD).Le cadre ABD utilise un modèle de bruit adaptatif pour identifier les caractéristiques du bruit dans les images MEB réelles. Ce module permet la préparation d'un ensemble de données bruitées réalistes pour l'entraînement. Il est utilisable pour la synthèse de données pour n'importe quel domaine et le débruitage ultérieur d'images bruitées réelles. L'introduction de ce cadre a permis d'obtenir de meilleures performances par rapport aux méthodes précédentes, ce qui en fait une base solide pour faire progresser le débruitage des images MEB. Ceci, à son tour, pourrait avoir un impact sur la reconstruction tridimensionnelle des microstructures.

Scanning electron microscopy (SEM) has become an essential tool for imaging micro- and nanoscale structures in various fields, including materials, earth, and life sciences. However, images obtained through SEM often suffer from a high noise level, which is influenced by factors such as dwell time (or scanning speed), that is, the duration during which the electron beam stays on the same position during image acquisition. Although longer dwell times can help in reducing noise, they can also cause damage to the sample, whereas shorter dwell times can introduce more uncertainty into the images. Therefore, effective denoising is crucial for enhancing the clarity and accuracy of SEM images, which is particularly important for three-dimensional reconstruction of microstructures.This work started with a comprehensive evaluation of image denoising techniques, covering both classical methods and deep learning (DL) approaches. A taxonomy of these solutions was created outlining their developmental progress. The latest state-of-the-art (SOTA) techniques were reviewed and tested using SEM images, leading to the identification of SCUNet as a baseline denoising network and highlighting the necessity of automatic noise estimation (ANE).The initial noise-type classification was performed using machine learning techniques, which assumed Gaussian or Poisson noise based on existing literature. However, due to the limitations of machine learning techniques in accurately classifying noise types in real samples, extensive experiments with real SEM images have been conducted. These statistical and mathematical experiments identified Gaussian and Gamma noise types. Notably, the noise type transitioned from Gaussian to Gamma with varying scanning speeds: Gaussian for faster dwell time and Gamma for slower dwell time.Based on previous results, a deep learning based approach for automatic noise estimation in scanning electron microscopy (SEM) images was proposed. This framework, known as EstimateNoiseSEM, consists of two networks: one for identifying the type of noise presents in the image and the other for predicting the level of noise. However, this approach showed limitations in terms of handling Gamma noise, leading to a shift towards blind denoising. Owing to the time-consuming nature of maximum blind denoising, a new adaptive model that can adjust to the real noise present in the sample was developed. This resulted in the creation of an Adaptive Blind Denoising (ABD) framework.The ABD framework utilizes an adaptive noise model to identify the noise characteristics in real SEM images. This module allows the preparation of a realistic noisy dataset for training as well as the synthesis of datasets from any domain and the subsequent denoising of real noisy images. The introduction of this framework demonstrates improved performance compared with previous methods, making it a robust foundation for advancing SEM image denoising. This, in turn, could have an impact on the three-dimensional reconstruction of the microstructures.