Détection et caractérisation des changements d'apparence par imagerie et vision artificielle pour la documentation de la conservation des objets métalliques patrimoniaux

Detection and characterization of appearance change by imaging and artificial vision for the conservation documentation of cultural heritage metal objects

• Auteur / Autrice : Amalia Siatou
• Direction : Alamin Mansouri
• Type : Thèse de doctorat
• Discipline(s) : Instrumentation et informatique de l'image
• Date : Soutenance le 24/03/2023
• Etablissement(s) : Bourgogne Franche-Comté
• Ecole(s) doctorale(s) : École doctorale Sciences pour l'ingénieur et microtechniques (Besançon ; 1991-....)
• Partenaire(s) de recherche : Laboratoire : Imagerie et Vision Artificielle (ImVia) (Dijon)
• Partenaire(s) de recherche : Etablissement de préparation : Université de Bourgogne (1970-....)
• Jury : Président / Présidente : Valérie Gouet-Brunet
• Jury : Examinateurs / Examinatrices : Antonino Cosentino
• Jury : Rapporteurs / Rapporteuses : El Mustapha Mouaddib, Jacek Martusewicz

Mots clés

Mots clés contrôlés

Réflectance

Vision artificielle (robotique)

Mots clés libres

Apparence de matériaux

Vision artificielle

Imagerie

Detection de changement

Reflectance Transformation Imaging

Material Appearance

Artificial Vision

Imaging

Change detection

Reflectance Transformation Imaging

Résumé

La présente recherche combine des avancées des technologies d'imagerie et une expertise en patrimoine culturel afin de proposer de nouvelles approches méthodologiques pour la documentation visuelle en conservation-restauration (C-R) des objets patrimoniaux. L'objectif est d'étudier les caractéristiques d'apparence des surfaces métalliques en se fondant sur l'analyse par pixel du comportement lumineux de la surface, numérisé par la technique "Reflectance Transformation Imaging" (RTI). La réflectance de la surface est directement liée aux propriétés optiques du matériau, et peut ainsi fournir des informations sur sur les attributs d'apparence (tels que la micro-géométrie, la texture et la brillance).La technique RTI est une technique d'imagerie basée uniquement sur la photographie, entièrement conforme aux spécifications de C-R qui exigent des approches sans contact et non invasives pour l'analyse des objets. Observant le manque de méthodologies avancées pour la documentation visuelle, de nouvelles méthodes basées sur le traitement des données RTI ont été proposées afin d'automatiser la documentation de l'apparence des objets métalliques patrimoniaux.Les contributions de cette thèse se situent dans les points suivants :• Des méthodologies de traitement des données RTI brutes basées sur l'analyse par pixel des descripteurs (géométriques ou statistiques). Les descripteurs géométriques sont liés aux pentes et à la calculés à partir d'images RTI stéréo-photométrques. Les descripteurs statistiques sont utilisés pour analyser le comportement de la luminance en chaque pixel pour les différents angles d'illumination, et sont plutôt liés à la chrominance, à la brillance et à la texture. Les cartographies des descripteurs peuvent caractériser avec précision les propriétés globales de la surface d'un objet. Les informations des caractéristiques de manufacture, de corrosion et des différents matériaux de fabrication peuvent ainsi être enregistrées de manière automatisée.• Des méthodologies de traitement des données à l'aide de la comparaison des descripteurs. Une mesure multivariée a été utilisée pour la comparaison des pixels d'une acquisition RTI ou de deux acquisitions différentes. Cette méthodologie permet des visualisations qui distinguent les caractéristiques saillantes. Des descripteurs géométriques, statistiques ou leurs combinaisons peuvent contribuer à l'évaluation et au suivi de l'état de la surface en isolant les caractéristiques saillantes d'une manière automatisée et non supervisée. Elles peuvent en outre permettre de quantifier les changements, et ainsi estimer le degré de modification ou proposer une tendance d'évolution.• Des méthodologies pour la segmentation des données RTI. Une approche semi-supervisée et une approche supervisée sont présentées, basées respectivement sur l'analyse statistique des caractéristiques saillantes et sur des algorithmes d'apprentissage automatique de données entraînées. Ces méthodologies permettent de regrouper les pixels et de fournir des cartographies automatisées qui facilitent l'évaluation de l'état et le suivi des changements. En outre, la quantification des segments peut être utilisée pour estimer le degré de changement et révéler des tendances.• L'application des méthodologies pour l'évaluation de l'état, le suivi de corrosion et le suivi des traitements de C-R. Dans les cas examinés, il est possible d'obtenir une documentation visuelle automatisée sur les surfaces qui présentent des différences de texture, de couleur ou de réflectance au niveau de la micro-géométrie, ainsi que les changements temporels qui en résultent. Une évaluation locale et globale de la surface peut être réalisée par des visualisations améliorées, et le niveau de changement peut être estimé.

This research has combined advances in imaging technologies and expertise in cultural heritage (CH) to propose new methodological approaches for pictorial conservation documentation by characterizing cultural heritage objects. The aim is to investigate metal surfaces through their appearance characteristics based on per-pixel analysis of the surface reflectance behavior as captured by Reflectance Transformation Imaging (RTI). The surface reflectance is directly related to the optical properties of the material. It can thus provide information on appearance attributes (such as micro-geometry, texture, and gloss).RTI is a multi-light imaging technique based only on photography, entirely in line with cultural heritage specifications that require non-contact and non-invasive approaches for analyzing artworks. Starting by identifying the gap in advanced methodologies for visual documentation in the form of pictorial records for conservation documentation, new methods based on RTI image processing have been proposed to automate the detection and tracking of the appearance characteristics of CH metal objects.This thesis contributions fall in the following aspects:• Exploring data processing methodologies of raw RTI data based on feature analysis. Visualization of geometric or statistical features is possible through the per-pixel analysis of the RTI image stack. Geometric features are related to the surface's directional, curvature, and angular information as depicted from the light illumination in different directions. Statistical features are used to analyze the pixel's local luminance behavior for the different illumination angles and are linked to the surface's color, gloss, and texture. The resulting features maps can accurately characterize an object's overall surface properties. Information related to technological characteristics, corrosion products, and different manufacturing materials can thus be documented in an automated way.• Exploring data processing methodologies using feature comparison. A multivariate measurement (Mahalanobis distance) was used to estimate the intra- and inter-surface comparisons of an RTI acquisition or between two different acquisitions. This methodology creates visualizations that distinguish the surface's salient characteristics. Geometric, statistical, or combinations of features can help in condition assessment and monitoring by isolating the salient surface characteristics in an unsupervised and automated manner. They can additionally provide quantification of change by comparison and therefore estimate the degree of change or propose a changing trend.• Exploring data processing methodologies for RTI data segmentation. A semi-supervised and a supervised approach are presented based on the statistical analysis of salient features and machine-learning algorithms of trained data using the HSH reconstruction coefficients, respectively. The appropriate selection of the methodology can group pixels and provide automated cartographies that aid in condition assessment and tracking changes. In addition, the quantification of the segments can be further used for estimating the degree of change and revealing change trends.• Feasibility studies through the examination of cultural heritage metal objects or purpose-made test samples. The proposed methodologies are evaluated for condition assessment, corrosion monitoring, and monitoring conservation treatments. Through the examined cases, automated visual documentation on surfaces that exhibit differences in the micro-geometry texture, color, or gloss and their resulting cross-time changes is possible. Local and global surface assessment can be achieved via enhanced visualizations, and the degree of change can be estimated.