Une approche multi-éclairage pour la documentation et la modélisation de l'apparence des objets du patrimoine culturel de grande dimension.

A multilight approach for documenting and modeling the appearance of large cultural heritage objects

• Auteur / Autrice : Yuly Emilia Castro Cartagena
• Direction : Alamin Mansouri, Gaëtan Le Goïc, Vincent Brost
• Type : Thèse de doctorat
• Discipline(s) : Instrumentation et informatique de l'image
• Date : Soutenance le 14/06/2022
• Etablissement(s) : Bourgogne Franche-Comté
• Ecole(s) doctorale(s) : École doctorale Sciences pour l'ingénieur et microtechniques (Besançon ; 1991-....)
• Partenaire(s) de recherche : Laboratoire : Imagerie et Vision Artificielle (ImVia) (Dijon)
• Partenaire(s) de recherche : Etablissement de préparation : Université de Bourgogne (1970-....)
• Jury : Président / Présidente : Livio De Luca
• Jury : Examinateurs / Examinatrices : Saida Bouakaz-Brondel, Hermine Chatoux
• Jury : Rapporteurs / Rapporteuses : Andréa Giachetti, Jon Yngve Hardeberg

Mots clés

Mots clés contrôlés

Vision par ordinateur

Infographie

Réflectance

Mots clés libres

Modelisation de la Reflectance

Traitement d'image

Systèmes d'imagerie

Apparance de Surface

Imaging systems

Image processing

Reflectance modelling

Surface Appeareace

Résumé

Ces dernières années, la vision par ordinateur a joué un rôle majeur dans l'étude de l'apparence des surfaces, en particulier avec l'introduction d'algorithmes de rendu basés sur l'image. L'imagerie par transformation de la réflectance (RTI) est l'une de ces approches. Le RTI est une technique d'imagerie multi-lumière qui consiste à prendre une série d'images d'un objet à l'aide d'une caméra fixe, tandis que l'emplacement de la lumière incidente varie pour chaque photographie. Grâce aux informations recueillies à partir de ce type d'acquisition, qui se définit également comme une collection d'images multi-lumière (MLIC), il est possible de modéliser la réflectance angulaire d'une surface. La RTI est fréquemment utilisée dans la documentation et l'étude d'objets du patrimoine architectural et culturel en raison de sa flexibilité et de sa commodité d'utilisation, car il ne nécessite pas l'utilisation d'équipements spécialisés et/ou coûteux. Cependant, cette flexibilité peut parfois avoir un impact négatif sur la qualité de la représentation visuelle obtenue avec cette approche. Compte tenu de cela, les principaux objectifs de cette recherche sont d'améliorer la technique RTI tant d'un point de vue méthodologique qu'instrumental, avec un accent particulier sur la documentation et la caractérisation des grandes œuvres d'art, ainsi que sur l'étude des approches multimodales. Ainsi, ce travail présente l'étude, le développement et la mise en œuvre de deux méthodologies axées sur la correction des artefacts liés à la source lumineuse. Dans le premier chapitre, nous étudions comment la distribution angulaire des positions de la source lumineuse affecte la reconstruction de RTI de la réflectance de surface. La solution proposée repose sur l'estimation de la densité locale de la distribution des positions de la source lumineuse afin de la pondérer et ainsi de calibrer les distributions non homogènes. La seconde se concentre sur l'éclairage non homogène couramment présent dans les images RTI, qui est lié aux sources d'éclairage non-collimatées et qui sont généralement employées dans l'application de la technique. Comme solution à ce problème, nous présentons une approche qui exploite le modèle d'une lumière ponctuelle afin d'obtenir une correction d'éclairage au niveau du pixel. Enfin, nous approfondissons deux domaines sous-étudiés dans le cadre RTI, à savoir l'acquisition de grands objets et l'expansion dans le domaine multispectral. Dans cette partie, nous proposons l'adaptation et l'amélioration de la méthodologie tant d'un point de vue instrumental que méthodologique.

In recent years, Computer Vision has played a major role in the investigation of sur-face appearance, particularly with the introduction of image-based rendering algorithms. Reflectance transformation Imaging (RTI) is one of these approaches. The RTI is a multi-light imaging technique that involves taking a series of images of an item using a stationary camera, while the location of the incident light varies in each photograph. Thanks to the information gathered from this type of acquisition, which is also defined as a Multi-light Image Collection (MLIC), it is possible to model the angular reflectance of a surface. The RTI is frequently employed in the documentation and study of architectural and cultural heritage objects, owing to its flexibility and convenience of usage, as it does not need the employmentof specialized and/or expensive equipment. However, this flexibility can occasionally have a negative impact on the quality of the visual representation achieved with this approach. Taking this into account, the primary goals of this research are to improve the RTI technique from both a methodological and an instrumental viewpoint, with a particular emphasis on the documentation and characterization of large works of art, as well as the study of multi-modal approaches. Thus, this work presents the study, development and implementation of two methodologies focused on the correction of artifacts related to the light source. In the first one, we investigate how the angular distribution of light source positions affects theRTI's reconstruction of surface reflectance. The proposed solution relies on estimating the local density of the light source positions distribution in order to weigh it and thus calibrate non-homogeneous distributions. The second focuses on the non-homogeneous illumination that is commonly present in RTI images, which is linked with the non-collimated lighting sources that are typically employed in the technique's application. As a solution to this problem, we present an approach that exploits the model of a near punctual light to obtain illumination correction at a pixel level. Finally, we delve into two understudied areas within the RTI framework, namely the acquisition of large objects and the expansion into the multi-spectral field. In this part, we offer methodology adaptation and improvement fromboth an instrumental and a methodological standpoint.