Restauration virtuelle de statues numérisées

Virtual restoration of digitized statues

• Auteur / Autrice : Tong Fu
• Direction : Raphaëlle Chaine, Julie Digne
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 06/07/2021
• Etablissement(s) : Lyon
• Ecole(s) doctorale(s) : École doctorale en Informatique et Mathématiques de Lyon (2009-....)
• Partenaire(s) de recherche : établissement opérateur d'inscription : Université Claude Bernard (Lyon ; 1971-....)
• Partenaire(s) de recherche : Laboratoire : LIRIS - Laboratoire d'Informatique en Image et Systèmes d'information (Rhône ; 2003-....)
• Jury : Président / Présidente : Franck Hétroy
• Jury : Examinateurs / Examinatrices : Raphaëlle Chaine, Julie Digne, Stéfanie Hahmann, Mathias Paulin, Yoann Lafon-Jalby, Emmanuelle Rosso
• Jury : Rapporteurs / Rapporteuses : Stéfanie Hahmann, Mathias Paulin

Mots clés

Mots clés contrôlés

Nuages de points

Modélisation des données (informatique)

Statues

Innovation

Art -- Conservation et restauration

Mots clés libres

Restauration virtuelle

Nuage de points

Recalage

Skinning sur nuage de point

Déformation de forme

Modèle de sphère-mesh

Virtual restoration

Point cloud

Registration

Point set skinning

Shape deformation

Sphere-mesh model

Résumé

La numérisation des objets archéologiques est une tâche importante pour la préservation et la transmission du patrimoine culturel, mais il est également indispensable de s’occuper du problème de leur restauration. Cependant, les processus de restauration physique traditionnels sont difficiles, coûteux et parfois risqués pour l’intégrité des vestiges eux-mêmes, en raison de mauvais choix de restauration par exemple. Pour éviter cela, il est intéressant de se tourner vers la restauration virtuelle, qui permet de tester des hypothèses de restauration, qui pourront être réalisées ultérieurement sur les vestiges réels. Dans ce contexte, notre objectif est de développer une nouvelle approche de restauration virtuelle de statues numérisées, fondée sur l'utilisation d'un modèle unifié gardant le lien avec la précision originale des scanners utilisés et permettant d'échafauder différentes hypothèses. Cette thèse présente un cadre pour compléter les parties manquantes de statues archéologiques représentant des personnages ou des animaux. Tout d'abord, nous proposons l'algorithme FAKIR qui permet de recaler un modèle anatomique articulé de type sphere-mesh sur un nuage de points résultant de la numérisation d’une statue, en découvrant conjointement les paramètres anatomiques utiles à l'étalonnage du modèle. Il s'agit en effet d'un problème d'optimisation pour lequel il est possible d'exploiter des hypothèses de recalage rigide par morceaux, tout en s’inspirant d'algorithmes de cinématique inverse. Nous avons également testé les capacités actuelles offertes par l’apprentissage profond pour le recalage de squelette 2D et 3D afin de comparer et de mieux positionner l’algorithme FAKIR. La comparaison étaye notre intuition que l’apprentissage effectué à partir des images ou des relevés de vrais modèles humains ne permet pas de détecter avec justesse le squelette d’une statue. De plus, l'approche de recalage FAKIR se généralise à des modèles non humanoïdes, pour lesquels on ne dispose généralement pas de base d’apprentissage. Ensuite, nous proposons deux nouvelles approches de skinning pour modifier la position d’une statue décrite par un nuage de points après que l’on ait identifié sa structure anatomique en utilisant FAKIR. La premier approche adoptée distingue les mouvements de torsion, des mouvements de dépliement ou repliement d'une articulation entre deux membres, en prenant en compte l’anisotropie propre à ces articulations, mais reste fondée sur l’utilisation de poids pour déterminer le déplacement d’un point influencé par plusieurs os. La seconde approche de skinning utilise une description du détail de la statue au dessus d'un ensemble de lignes couvrant notre modèle articulé, avec une approche géométrique pour déterminer l’évolution des lignes et du détail suite à une déformation. Finalement, sur la base de ces contributions, nous proposons une méthode pour combiner entre elles des parties de différentes statues après les avoir ramenées à une pause et une morphologie communes. Étant donné une statue à restaurer, nous commençons par identifier les parties manquantes. Des statues compatibles sont ensuite fournies par les utilisateurs afin de pouvoir compléter la statue à restaurer par combinaison la plus harmonieuse possible. Pour cela, la morphologie et la pose des statues sont modifiées au préalable pour correspondre à celles de la statue cassée. Une des originalités des approches développées est qu’elles opèrent directement sur des nuages de point, sans recourir à un maillage, afin de préserver la richesse de la précision fournie par les scanners.

The digitization of archaeological objects is an important task for the preservation and transmission of cultural heritage, but it is also essential to deal with the problem of their restoration. However, traditional physical restoration processes are complicated, costly, and sometimes risky for the artifact itself due to poor restoration choices. It is interesting to turn to virtual restoration, which allows testing restoration hypotheses, can later carry that out on the real artifact. In this context, our objective is to develop a new approach to the virtual restoration of digitized statues, based on a unified model keeping the link with the original precision of scanners and allowing to build different hypotheses. This thesis presents a framework to complete the missing parts of archaeological statues representing characters or animals. First of all, we propose the FAKIR algorithm which makes it possible to register an articulated anatomical model of the sphere-mesh type on a point cloud resulting from the digitization of a statue, by jointly discovering the anatomical parameters useful for the calibration of the model. This is indeed an optimization problem for which it is possible to exploit piecewise rigid registration assumptions while being inspired by inverse kinematics algorithms. We also tested the current capabilities offered by deep learning for 2D and 3D skeletal registration to compare and better position the FAKIR algorithm. The comparison supports our intuition that learning from images or scans of real human models does not accurately detect a statue's skeleton. Besides, FAKIR registration approach is generalized to non-humanoid models, for which there is generally no basis for learning. Second, we propose two new skinning approaches to modify the position of a statue described by a point cloud after its anatomical structure has been identified using FAKIR. The first approach adopted distinguishes torsion movements, unfolding or folding movements of a joint between two limbs, by taking into account the anisotropy specific to these joints, but remains based on the use of weights to determine the displacement of a point influenced by several bones. The second skinning approach uses a description of a statue's detail above a set of lines covering our articulated model, with a geometric approach to determine the evolution of lines and detail following deformation. Finally, based on these contributions, we propose combining different statues after bringing them to a common break and morphology. Given a statue to be restored, we start by identifying the missing parts. Compatible statues are then provided by the users in order to be able to complete the statue to be restored by the most harmonious combination possible. For this, the morphology and the pose of the statues are modified beforehand to correspond to those of the broken statue. One of the originalities of our approaches is that they operate directly on point clouds, without resorting to a mesh, in order to preserve the wealth of precision provided by the scanners.