Classification automatique d'images photographiques pour le suivi spatio-temporel des chantiers de restauration

Automatic classification of photographic images for spatio-temporal monitoring ofrestoration sites

• Auteur / Autrice : Laura Willot
• Direction : Cristian dan Vodislav, Valérie Gouet-brunet, Livio De luca
• Type : Projet de thèse
• Discipline(s) : Stic - ed em2psi
• Date : Inscription en doctorat le 01/10/2021
• Etablissement(s) : CY Cergy Paris Université
• Ecole(s) doctorale(s) : École doctorale Économie, Management, Mathématiques, Physique et Sciences Informatiques (Cergy-Pontoise, Val d'Oise)
• Partenaire(s) de recherche : Laboratoire : ETIS - Equipes Traitement de l'Information et Systèmes

Mots clés

Mots clés libres

Sciences du Patrimoine

Vision par ordinateur

Recherche par le contenu

Analyse multimodale

Sémantique des données

Heritage Science

Computer Vision

Content-based Retrieval

Multimodal Data Analytics

Data Semantics

Résumé

A l'intersection entre gestion de masses de donnés, enrichissement sémantique et vision par ordinateur, ce projet a pour objectif la mise en place d'une méthode de structuration et d'exploration d'un corpus d'images photographiques acquises dans le cadre du suivi spatio-temporel des activités d'un chantier de restauration du patrimoine. Dans le cadre du suivi des activités d'un chantier de restauration du patrimoine, des centaines de photographies peuvent être acquises chaque jour, en fonction des besoins d'observation et des acteurs intervenant. Les vastes collections de photographies qui en résultent nécessitent un traitement adéquat pour aider à la recherche d'information par les professionnels du patrimoine. Cette thèse a ainsi l'ambition d'introduire une approche de rupture dans le traitement de ces photographies, distribuées dans l'espace et dans le temps et sémantiquement enrichies par des métadonnées hétérogènes. Ce projet s'inscrit au sein du chantier scientifique du CNRS et du Ministère de la Culture pour la restauration de Notre-Dame de Paris et, en particulier, dans le cadre d'un groupe de travail (GT Données Numériques) en charge de la construction d'un “écosystème numérique” capable d'évoluer au fur et à mesure de l'avancée des études, en centralisant progressivement les ressources collectées, produites, analysées et interprétées par les scientifiques et les professionnels impliqués dans le chantier de restauration. En particulier, ce travail met l'accent sur le problème de structuration et d'exploration d'un vaste corpus de photographies interconnectées, en combinant plusieurs méthodes d'analyses statistiques et (semi-)automatiques.

Over the last decade, a large number of digital documentation projects have demonstrated the potential of image-based modeling (photo modeling, photogrammetry, ...) of heritage objects in the context of documentation, conservation and restoration. The inclusion of these emerging methods in the daily monitoring of the activities of a heritage restoration site (context in which hundreds of photographs per day can be acquired by multiple actors and according to several observation and analysis needs) raises new questions at the intersection of big data management and of the automatic semantic enrichment of this data, for the purpose of searching by content similarity. This PhD project has the ambition to introduce a disruptive approach for the massive processing of large collections of photographs, distributed in space and time. This project is part of the CNRS and French Ministry of Culture scientific workcamp for the restoration of Notre-Dame de Paris and, in particular, within the framework of a working group in charge of building a ''digital ecosystem'' capable of evolving as the studies progress, by progressively centralizing the resources collected, produced, analyzed and interpreted by the scientists and professionals involved in the restoration workcamp. Through interactions with the working groups involved in this scientific work site (wood/charpente, stone, stained glass, metals, structure, acoustics, heritage emotions, etc.), the problem of automatic indexing of masses of photographs will be addressed by combining several complementary 2D/3D semantic enrichment methods.