méthodologies de classification et d'identification de pigments sur des données d'images multidimensionnelles

methods for classification and pigment identification on multidimensional image data

• Auteur / Autrice : Jizhen Cai
• Direction : Alamin Mansouri, Clotilde Boust
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 01/11/2019; Soutenance le 15/03/2024
• Etablissement(s) : Bourgogne Franche-Comté
• Ecole(s) doctorale(s) : École doctorale Sciences pour l'ingénieur et microtechniques (Besançon ; 1991-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'Imagerie et Vision Artificielle
• Partenaire(s) de recherche : établissement de préparation : Université de Bourgogne (1970-....)

Mots clés

Mots clés libres

Identification des pigments

Multimodal

Multispectral

Hyperspectral

Pigment identification

Multimodal

Multispectral

Hyperspectral

Résumé

La protection et la préservation des objets du patrimoine culturel revêtent une importance profonde, dans la mesure où le patrimoine culturel est le reflet des valeurs, des croyances, des connaissances et des traditions en constante évolution des gens qui ont atteint aujourd'hui. Dans le domaine du patrimoine culturel matériel, les peintures occupent une place centrale. Une compréhension globale des pigments constituant une peinture est impérative, compte tenu de leur rôle dans le reflet de l'histoire et du contexte environnemental de l'œuvre. Cependant, l'identification des pigments pose des défis considérables. En fait, le problème de l'identification et de la caractérisation des pigments pourrait être plus difficile lorsque des mélanges de pigments sont présents dans la couche picturale. Cependant, dans le cas réel, la présence de mélanges de pigments est assez courante, ce qui complique cette problématique. Traditionnellement, les chercheurs peuvent s'appuyer sur des techniques telles que le microéchantillonnage pour l'identification des pigments. L'impact négatif est que ces méthodologies comportent le risque potentiel d'entraîner une perte ou une altération des éléments du patrimoine culturel. Par conséquent, ces dernières années, les méthodologies non invasives ont occupé une place de plus en plus importante dans le domaine de l'identification des pigments, en raison de leur capacité inhérente à extraire des informations cruciales sans imposer de modifications physiques aux objets. Certes, il existe diverses techniques non invasives d'identification des pigments, l'imagerie multispectrale/hyperspectrale est devenue un outil précieux à cet égard car elle obtient des informations très précises et conserve les informations des échantillons avec des dizaines ou des centaines de canaux à un coût relativement faible. Dans les applications pratiques, la tâche d'identification des pigments multispectraux/hyperspectraux les données sont compliquées en raison du fait que chaque spectre observé est une combinaison de différents membres finaux. Pour extraire les membres finaux souhaités, nous appliquons des méthodes de démixage spectral. Son application à l'identification des pigments pose certains problèmes. Premièrement, nous devons explorer la possibilité d'appliquer le démélange hyperspectral au domaine de l'identification des pigments dans la peinture. Deuxièmement, le démixage multispectral est un domaine moins étudié tout en étant rentable à obtenir. Par conséquent, la possibilité de réaliser le démélange multispectral jusqu'à l'identification des pigments est également tentante. Outre les données multispectrales/hyperspectrales, la recherche peut parfois devoir s'appuyer sur les informations provenant de différents capteurs pour tirer une conclusion très sûre sur l'identification des pigments dans les œuvres d'art. Chaque technique autonome a ses propres limites inhérentes, c'est pourquoi dans ce manuscrit, nous proposons une nouvelle méthodologie multimodale qui identifie systématiquement et automatiquement les pigments. Cette approche vise à remédier aux limites des méthodes individuelles, en fournissant une solution complète et efficace pour l'identification des pigments dans les peintures du patrimoine culturel. La méthodologie multimodale proposée présente une direction prometteuse pour les recherches futures, contribuant au domaine de la préservation du patrimoine culturel et de la restauration des œuvres d'art. De plus, nous explorons non seulement la possibilité d'un démélange hyperspectral au pigment identification dans le tableau mais proposent également un protocole pour étendre les algorithmes de démixage hyperspectral au domaine du démixage du démixage multispectral. De plus, nous avons proposé une nouvelle méthodologie pour la classification de l'imagerie hyperspectrale.

The protection and preservation of cultural heritage artifacts hold profound significance, as Cultural Heritage is a reflection of people's ever-changing values, beliefs, knowledge, and traditions that have reached today. Within the realm of Tangible Cultural Heritage, paintings hold a pivotal position. Regarding the paintings, there exist diverse concerns: the characterization of the materials constituting the painting, the development of new conservation techniques, and the setup of the optimum environmental conditions for the preventive conservation of the painting. A comprehensive comprehension of the pigments constituting a painting is imperative, given their role in reflecting the artwork's history and environmental context. However, pigment identification poses considerable challenges. In fact, the problem of pigments' identification and characterization could be more difficult when pigments' mixtures are present in the painting layer. However, in the real case, the presence of mixtures of pigments is quite common, which complicates this issue. Traditionally, the researchers may rely on techniques like microsampling for pigment identification. The negative impact of it is that these methodologies carry the potential risk of causing loss or alteration to the cultural heritage items. Therefore, in recent years, non-invasive methodologies have increasingly occupied a prominent position within the domain of pigment identification, owing to their inherent capability to extract pivotal information without imposing any physical modifications on the objects. Admittedly there exist various non-invasive techniques for pigment identification, Multispectral/Hyperspectral imaging has become an invaluable tool in this regard because it obtains very accurate information and keeps the information of the samples with dozens or hundreds of channels at a relatively low cost. Thus, in recent years, researchers have increasingly turned to multispectral/hyperspectral imaging techniques to aid in pigment identification, overcoming the limitations of traditional methods. In practical applications, the task of identifying pigments from multispectral/hyperspectral data is complicated due to the fact that each observed spectrum is a combination of different endmembers. To extract the desired endmembers, we apply spectral unmixing methods. There are some problems concerning its application to pigment identification. First, we need to explore the possibility of applying hyperspectral unmixing to the field of pigment identification in the painting. Second, multispectral unmixing is a field less studied while being cost-efficient to obtain. Hence, the possibility of conducting the multispectral unmixing to the pigment identification is also tempting. Besides the multispectral/hyperspectral data, sometimes, the research may need to rely on the information from different sensors to draw a very safe conclusion about the pigment identification in the artworks. Each standalone technique has its own inherent limitations, thus in this manuscript, we propose a novel multimodal methodology that systematically and automatically identifies pigments. This approach aims to address the limitations of individual methods, providing a comprehensive and efficient solution for pigment identification in cultural heritage paintings. The proposed multimodal methodology showcases a promising direction for future research, contributing to the field of cultural heritage preservation and art restoration. Furthermore, we not only explore the possibility of hyperspectral unmixing to the pigment identification in the painting but also propose a protocol for extending the hyperspectral unmixing algorithms to the field of unmixing of the multispectral unmixing. In addition, we have proposed a novel methodology for the classification of hyperspectral imaging.