Génération de maillages tétraédriques à partir d'images 3D+t segmentées

Generation of tetrahedral meshes from segmented 3D+t images

• Auteur / Autrice : Ange Clément
• Direction : Emmanuel Faure
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 31/10/2023
• Etablissement(s) : Université de Montpellier (2022-....)
• Ecole(s) doctorale(s) : École doctorale Information, Structures, Systèmes (Montpellier ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'Informatique, de Robotique et de Micro-électronique de Montpellier
• Partenaire(s) de recherche : Equipe de recherche : Département Informatique

Mots clés

Mots clés libres

Maillages tétraédriques

Vision par ordinateur

Cgal

Images 3D

Biologie

Computer vision

Cgal

Tetrahedral meshes

Biology

3D images

Résumé

Les maillages surfaciques sont les représentations les plus courantes des objets 3D – en particulier pour la modélisation avec applications, les jeux vidéo, les films d'animation ou la réalité virtuelle, alors que les méthodes de traitement les plus efficaces requièrent souvent des représentations volumiques associées afin de d'obtenir des résultats réalistes. Malgré tout, les méthodes disponibles restent limitées, même dans les logiciels destinés aux experts, car la génération et l'exploration de ce type de structures volumiques adaptées au traitement reste un problème complexe. Pour représenter fidèlement les objets 3D, différents matériaux, i.e. domaines, sont identifiés et labellisés. De plus, un nombre important d'algorithmes et méthodes de simulation repose sur une représentation tétraédrique des données multi-domaines pour effectuer des simulations, pour des raisons de coût de calcul et de passage à l'échelle. Le maillage doit représenter précisément les frontières entre les domaines, i.e. les matériaux, tout en supprimant le bruit d'acquisition. De plus, l'utilisation de méthodes de simulation par éléments finis implique des contraintes de qualité et de taille car la présence de tétraèdres mal-formés entraîne l'instabilité des modèles numériques et un trop grand nombre d'éléments rend les simulations interactives difficiles à réaliser. Afin de représenter les jumeaux numériques de façon complète, la dimension temporelle est à prendre en compte. L'équipe ICAR possède une expertise dans la représentation et la manipulation de données 3D+t pour la biologie. Grâce à la transparence naturelle combinée aux évolutions permanentes des techniques d'acquisition en microscopie, la biologie du développement est une des rares disciplines scientifiques capables de produire de réelles données 3D et 3D + t (live imaging). Par exemple, en utilisant la technologie des microscopes à feuille de lumière, nous avons récemment reconstruit les membranes cellulaires des Ascidies au cours des premières heures de développement avec une très grande qualité. Afin de pouvoir visualiser les trajectoires et les formes des cellules construites à partir des observations, nous avons développé en 2019 une plateforme de visualisation et d'interaction de données appelée MorphoNet. Avec l'aide des maillages calculés chacune des images 3D, nous pouvons à travers MorphoNet effectué une grande panoplie d'interactions sur les cellules et leurs dynamiques temporelles. Ainsi, nous souhaitons proposer des méthodes permettant de créer des maillages tétraédriques de qualité à partir d'images 3D+t segmentées respectant la topologie des domaines d'entrée. Pour cela nous devrons dans un premier temps travailler sur la détection de caractéristiques de différentes dimensions dans les images segmentée. Celles-ci seront utilisées pour représenter fidèlement la topologie et la géométrie des frontières entre les différents domaines. Les maillages résultants pourront contenir des caractéristiques très petites par rapport à la résolution objectif, pouvant venir de bruit topologique présent dans l'image ou d'un domaine d'un domaine petite taille (par exemple un domaine émergeant dans des données 3D+t). Nous travaillerons ensuite sur la caractérisation de ces éléments et leur suppression afin d'enlever le bruit topologique ou les domaines ne pouvant pas être préservés. Enfin, nous étendrons les méthodes proposées afin de générer des maillages cohérents pour des données évoluant dans le temps. Pour cela, nous travaillerons sur la mise en correspondance de caractéristiques entre deux maillages et la détection d'événements topologiques. Nous pourrons ensuite proposer une représentation compressée basée sur les maillages évolutifs.

Surface meshes are the most common representations of 3D objects - particularly for modelling with applications, video games, animated films or virtual reality, while the most effective processing methods often require associated volumetric representations in order to obtain realistic results. Even so, the methods available remain limited, even in software designed for experts, because generating and exploring this type of volumetric structure suitable for processing remains a complex problem. To faithfully represent 3D objects, different materials, i.e. domains, are identified and labelled. In addition, a large number of simulation algorithms and methods rely on a tetrahedral representation of multi-domain data to perform simulations, for reasons of computational cost and scaling. The mesh must accurately represent the boundaries between domains, i.e. materials, while eliminating acquisition noise. In addition, the use of finite element simulation methods implies quality and size constraints, as the presence of malformed tetrahedra leads to instability in numerical models and too many elements makes interactive simulations difficult to perform. In order to fully represent digital twins, the temporal dimension must be taken into account. The ICAR team has expertise in the representation and manipulation of 3D+t data for biology. Thanks to natural transparency combined with ongoing developments in microscopy acquisition techniques, developmental biology is one of the few scientific disciplines capable of producing real 3D and 3D+t data (live imaging). For example, using light-sheet microscope technology, we recently reconstructed the cell membranes of Ascidians during the first hours of development with very high quality. In order to be able to visualise the trajectories and shapes of the cells constructed from the observations, in 2019 we developed a data visualisation and interaction platform called MorphoNet. With the help of meshes calculated from each of the 3D images, we can use MorphoNet to perform a wide range of interactions on the cells and their temporal dynamics. Our aim is to propose methods for creating high-quality tetrahedral meshes from segmented 3D+t images that respect the topology of the input domains. To do this, we will first have to work on detecting features of different dimensions in the segmented images. These will be used to faithfully represent the topology and geometry of the boundaries between the different domains. The resulting meshes may contain features that are very small compared with the objective resolution, which may come from topological noise present in the image or from a domain of a small size (for example an emerging domain in 3D+t data). We will then work on the characterisation of these elements and their removal in order to remove topological noise or domains that cannot be preserved. Finally, we will extend the proposed methods to generate coherent meshes for data that evolves over time. To do this, we will work on feature matching between two meshes and the detection of topological events. We will then be able to propose a compressed representation based on evolving meshes.