Intégration de connaissances a priori dans les réseaux de neurones convolutionnels (CNNs)

Feeding CNNs with domain knowledge

• Auteur / Autrice : Ahmed Ben saad
• Direction : Gabriele Facciolo
• Type : Projet de thèse
• Discipline(s) : Mathématiques aux interfaces
• Date : Soutenance en 2024
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale de mathématiques Hadamard (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Centre de mathématiques et de leurs applications (1990-2019 ; Cachan, Val-de-Marne)
• Partenaire(s) de recherche : Equipe de recherche : Traitement des images et du signal
• Partenaire(s) de recherche : Référent : École normale supérieure Paris-Saclay (Gif-sur-Yvette, Essonne ; 1912-....)
• Partenaire(s) de recherche : graduate school : Université Paris-Saclay. Graduate School Mathématiques (2020-....)
• Jury : Examinateurs / Examinatrices : Qiang Qiu, Pascal Monasse, Alasdair Newson, Hugues Talbot, Rodrigo Verschae
• Jury : Rapporteurs / Rapporteuses : Qiang Qiu, Pascal Monasse

Mots clés

Mots clés libres

Vision par ordinateur

Apprentissage profond

Apprentissage non supervisé

Computer vision

Deep Learning

Unsupervised Learning

Résumé

Dans l'industrie pétrolière et gazière, l'augmentation de la production, des taux de récupération et de la durée de vie des champs pétrolifères constitue un défi technologique majeur. Les outils qui fournissent des images haute résolution de la paroi du forage basées sur les contrastes de propriétés physiques, sont essentiels pour caractériser les formations géologiques et assurer la stabilité du forage. Ces outils aident à détecter les couches sédimentaires, les failles et les fractures, qui sont critiques pour comprendre les caractéristiques géologiques du sous-sol. Malgré la disponibilité de divers outils d'imagerie, les méthodes d'interprétation traditionnelles nécessitent une expertise significative et sont chronophages, ce qui exige des avancées pour répondre aux besoins modernes en matière d'efficacité et de précision. Cette thèse vise à intégrer les connaissances du domaine dans les méthodes d'apprentissage automatique pour améliorer l'analyse des images de forage. Nous proposons un nouveau cadre de détection d'objets basé sur les données, qui exploite la génération de données synthétiques grâce au transfert de style neuronal pour imiter les textures réelles des images de forage. Ces données synthétiques, combinées aux données réelles, améliorent l'entraînement du modèle, permettant la détection et la paramétrisation des dips comme un problème de régression plutôt que comme une tâche de segmentation. Cette approche améliore significativement la précision de la détection et l'efficacité computationnelle, notamment pour les dips sinusoïdaux et fermés. Tout d'abord, nous explorons un moyen d'étendre les ensembles de données disponibles en peignant les images obtenues à partir d'outils basés sur des coussinets à l'aide de réseaux adverses génératifs (GAN), en améliorant les techniques de peinture de texture pour utiliser des ensembles de données incomplets. Ensuite, nous explorons l'apprentissage semi-supervisé par le biais de l'apprentissage contrastif, permettant aux réseaux neuronaux d'apprendre des représentations d'images robustes à partir de grands ensembles de données non étiquetées, ensuite affinées avec de plus petits ensembles de données étiquetées. Après cela, nous nous concentrons sur l'alimentation des réseaux neuronaux convolutionnels (CNN) avec des connaissances préalables sous forme de données exogènes pour la segmentation des évasements comme un premier type de connaissance préalable. En incorporant des sources de données supplémentaires, telles que les mesures ultrasoniques ou thermiques, la performance du modèle est améliorée, tirant parti des informations diverses pour améliorer la précision et la robustesse de la détection. Puis, nous explorons une seconde manière d'intégrer des connaissances préalables dans les CNN en modifiant la fonction de perte pour la détection d'objets. Un terme de pondération basé sur la taille de la zone de l'objet est intégré dans la fonction de perte, ce qui aide le détecteur d'objets à apprendre des caractéristiques pour détecter des objets de toutes tailles. Cette approche utilise les détails riches et les textures des grands objets pour améliorer les performances de détection pour toutes les tailles d'objets, ce qui entraîne des améliorations significatives des taux de précision moyenne (mAP) et de rappel. Enfin, nous nous concentrons sur la modification du cadre de détection d'objets et l'utilisation d'une paramétrisation adaptée pour le picking des dips. Le cadre proposé formule la détection des dips comme un problème de détection d'objets, où les paramètres des dips sont directement régressés par le modèle. En utilisant la génération de données synthétiques grâce au transfert de style neuronal pour imiter les textures réelles des images de forage, le cadre améliore l'entraînement du modèle et la précision de la détection pour les dips sinusoïdaux et fermés, démontrant une généralisation efficace des données synthétiques aux données réelles. Ce c

In the Oil & Gas industry, increasing production, recovery rates, and the lifespan of oil fields constitutes a major technological challenge. Borehole imaging tools, which provide high-resolution images of the borehole wall based on physical property contrasts, are essential for characterizing geological formations and ensuring borehole stability. These tools help detect sedimentary layers, faults, and fractures, which are critical for understanding the subsurface geological features. Despite the availability of various imaging tools, traditional interpretation methods require significant expertise and are time-consuming, necessitating advancements to meet modern demands for efficiency and accuracy. This thesis aims to integrate domain knowledge into machine learning methods to enhance borehole image analysis. We propose a novel data-driven object detection framework that leverages synthetic data generation through neural style transfer to mimic real borehole image textures. This synthetic data, combined with real data, improves model training, enabling the detection and parameterization of dips as a regression problem rather than a segmentation task. This approach significantly enhances detection accuracy and computational efficiency, particularly for sinusoidal and closed dips. First, we look onto a way to expand the available datasets by inpainting images obtained from pad-based tools using Generative Adversarial Networks (GANs), enhancing texture inpainting techniques to utilize incomplete datasets. Next, we explore semi-supervised learning through Contrastive Learning, enabling neural networks to learn robust image representations from large, unlabeled datasets, subsequently fine-tuned with smaller labeled datasets. After that, we focus on feeding convolutional neural networks (CNNs) with prior knowledge in the form of exogenous data for breakout segmentation as a first type of prior knowledge. By incorporating additional data sources, such as ultrasonic or thermal measurements, the model's performance is enhanced, leveraging the diverse information to improve detection accuracy and robustness. Than we look onto the second way of prior knowledge integration into CNNs by modifying the loss function for object detection. A weighting term based on the object's area size is integrated into the loss function, which helps the object detector learn features for detecting objects of all sizes. This approach utilizes the rich details and textures of large objects to improve detection performance across all object sizes, resulting in significant improvements in mean Average Precision (mAP) and recall rates. Finally, we shift our focus on modifying the object detection framework and using suited parameterization for dip picking. The proposed framework formulates dip detection as an object detection problem, where the parameters of the dips are directly regressed by the model. By using synthetic data generation through neural style transfer to mimic real borehole image textures, the framework enhances model training and detection accuracy for both sinusoidal and closed dips, demonstrating effective generalization from synthetic to real data. This chapter highlights the benefits of framework modification and appropriate parameterization in enhancing the detection of complex geological features.