Transfert et repérage d'annotations sémantiques pour le patrimoine architectural. Un système méthodologique combinant Intelligence Artificielle, H-BIM et plateformes d'annotations collaboratives reality-based.

Semantic annotation transfer and retrieval for architectural heritage. A methodological system combining Artificial Intelligence, H-BIM and collaborative reality-based annotation platforms

• Auteur / Autrice : Valeria Croce
• Direction : Philippe Véron, Livio De Luca, Gabriella CAROTI, Andrea PIEMONTE
• Type : Thèse de doctorat
• Discipline(s) : Conception (AM)
• Date : Soutenance le 21/06/2022
• Etablissement(s) : Paris, HESAM en cotutelle avec Université de Florence. Clinique orthopédique
• Ecole(s) doctorale(s) : École doctorale Sciences des métiers de l'ingénieur
• Partenaire(s) de recherche : Laboratoire : LISPEN - Laboratoire d’Ingénierie des Systèmes Physiques et Numériques
• Partenaire(s) de recherche : établissement de préparation de la thèse : École nationale supérieure d'arts et métiers (1780-....)
• Jury : Président / Présidente : Roberta Spallone
• Jury : Examinateurs / Examinatrices : Philippe Véron, Livio De Luca, Gabriella CAROTI, Andrea PIEMONTE, Andreas Georgopoulos, Manuel Alejandro RóDENAS LóPEZ
• Jury : Rapporteurs / Rapporteuses : Andreas Georgopoulos, Manuel Alejandro RóDENAS LóPEZ

Mots clés

Mots clés contrôlés

Nuages de points

Thèses et écrits académiques

Intelligence artificielle

Mots clés libres

Annotation sémantique

Patrimoine numérique

H-Bim. bim

Intelligence Artificielle et Apprentissage automatique

Segmentation sémantique

Nuages de points

Semantic annotation

Digital Heritage

H-Bim. bim

Artificial Intelligence and Machine Learning

Semantic segmentation

Point clouds

Résumé

Cette thèse propose une approche méthodologique intégrée pour le transfert, la récupération et le partage d'annotations sémantiques, à partir de modèles numériques 2D ou 3D du patrimoine culturel, et en combinant techniques d'Intelligence Artificielle, environnements H-BIM et plateformes d'annotation collaboratives et basées sur la réalité (reality-based) telles qu’Aïoli (aioli.cloud). La méthodologie proposée est validée sur des études de cas significatives du patrimoine architectural français et italien, comme la cathédrale Notre-Dame de Paris et la Chartreuse de Pise.Dans la documentation numérique du patrimoine culturel et architectural, la pluralité des modes de représentation existants, même issus du balayage laser ou de la photogrammétrie, est source de dispersion des données. Dans ce contexte, l'annotation sémantique, entendue comme l'association d'informations (sémantiques) liées à la connaissance à des données numériques purement métriques, est indispensable pour permettre l'interprétation et le partage des informations numériques relatives au patrimoine culturel, tant en format 2D (images, ortho-photos, dessins etc.) qu'en format 3D (nuages de points, maillages, etc.).Considérant les systèmes de Modélisation des Informations de la Construction (H-BIM) et les plateformes d'annotation collaborative de modèles telles qu’Aïoli, ce travail vise à définir une approche méthodologique qui autorise le transfert, la récupération et l'échange d'annotations sémantiques sur des modèles numériques 2D/3D du patrimoine culturel. L'approche proposée repose sur les trois phases suivantes:i. Segmentation (classification) sémantique semi-automatique de données de relevé numérique par le biais d'algorithmes d'intelligence artificielle (IA).ii. Transfert d'annotations 2D/3D.iii. Reconstruction H-BIM, structuration sémantique et insertion d'informations localisées.Dans le détail, la première phase consiste à appliquer des algorithmes d'IA pour permettre l'enrichissement sémantique des données numériques. De façon semi-automatique, les données brutes issues du relevé (nuages de points, images, maillages) sont classées et interprétées afin de reconnaître composantes architecturales et typologiques récurrentes d'un bâtiment, ou bien afin de restituer l'état de dégradation des surfaces, de cartographier les matériaux, etc.Ensuite, les informations obtenues sont transférées et propagées vers plusieurs systèmes de représentation, des médias 2D aux modèles 3D et vice versa, également par utilisation de la plateforme d'annotation collaborative Aïoli.Les données 2D et 3D, classées par l'IA, sont alors exploitées en vue de la reconstruction de modèles BIM à partir des données de relevé qui ont été annotées sémantiquement (Scan-to-BIM).Le modèle numérique obtenu au terme du processus est une représentation sémantiquement structurée, qui peut ensuite être enrichie par l'insertion d'annotations localisées (relatives à la cartographie des matériaux, à la dégradation etc.), par exemple à des fins de restauration et de conservation.Cette thèse est développée dans le cadre d'un accord international de co-tutelle de thèse entre institutions de recherche italiennes et françaises. L'approche méthodologique proposée est donc évaluée en se référant à des études de cas représentatives du patrimoine architectural italien et français: parmi celles-ci, la Cathédrale Notre-Dame de Paris et la Chartreuse de Pise. Les résultats de l'application de la méthodologie proposée sont évalués en considérant, au cas par cas, les besoins spécifiques de description, d'analyse et de restitution.On esquisse un cadre de réalisation et utilisation de modèles numériques sémantiquement riches, qui sera mis à la disposition des restaurateurs, ingénieurs, architectes, archéologues, historiens et autres experts, continuellement confrontés aux aspects de fusion, traitement et connexion numérique des données sur le patrimoine.

This work proposes an integrated methodological approach for the transfer, the retrieval and the exchange of semantic annotations of 2D/3D digital heritage models, by exploiting Artificial Intelligence techniques, H-BIM environments and collaborative reality-based annotation platforms as Aïoli (aioli.cloud). The proposed methodology is validated on relevant case studies of the French and Italian heritage, such as the Notre-Dame Cathedral in Paris and the Pisa Charterhouse.In the cultural and architectural heritage domain, the plurality of available representation methods, even acquired by laser scanning or photogrammetry, is the source of data dispersion and entangles the collection of the wide variety of heterogeneous material related to the study of a heritage object.In this context, the semantic annotation mechanism, i.e., the association of knowledge-related (semantic) information to purely metric digital data, is fundamental to support the correct interpretation and sharing of digital heritage information, the latter including both 2D (images, ortho-photos, drawings) and 3D (point clouds, meshes, parametric models etc.) media.Considering Heritage-Building Information Modeling (H-BIM) systems and reality-based collaborative annotation platforms such as Aïoli as starting point towards the archival and sharing of semantic information, the objective of this work is to propose a methodological approach enabling the transfer, the retrieval and the exchange of semantic annotations over 2D/3D digital heritage models, valid regardless of the type of digital model chosen for the representation. To this task, and relying on original survey and analytical data, the proposed methodological approach develops according to the three phases of:i. Semi-automatic semantic segmentation (classification) of surveying data through Artificial Intelligence.ii. 2D/3D annotation transfer.iii. H-BIM reconstruction, semantic structuring and insertion of localized information.In detail, the semi-automatic semantic enrichment of digital data is investigated by application of Artificial Intelligence algorithms, enabling the interpretation and classification of raw data (e.g., point clouds, images, mesh) obtained from 3D surveying, according to: recognition of architectural components, detection of degradation patterns, material mapping, and so on.Then, the information obtained is transferred and propagated to multiple representation systems, from 2D to 3D and vice versa, also through the use of the Aïoli collaborative annotation platform.At a final stage, the AI-based classification information is also exploited in view of the construction of H-BIM models starting from annotated survey data (the so-called scan-to-BIM process). The digital model so obtained results in a semantically structured representation, where the insertion of localized annotations can further be studied for restoration, conservation and dissemination purposes.Since the thesis is developed within the framework of an international agreement for joint research doctoral thesis (co-tutelle), involving Italian and French research institutions, the different phases of the proposed approach are assessed with reference to representative case studies of both the Italian and French architectural heritage: among them, besides a number of significant Churches and Museums of the Italian territory, it is worth noting the Notre-Dame Cathedral in Paris and the Pisa Charterhouse. Each time, the results are evaluated by considering the case-specific representation and restitution needs and requirements.Through the proposed approach, a unified framework towards the exploitation and realization of semantically rich digital models will be made available to restorers, engineers, architects, archaeologists, historians, and other experts who continuously deal with the issues of fusion, processing, and digital connection of cultural heritage data.