Imagerie ultrasonore à main levée : simulation efficace, reconstruction de volume et application à la réalité augmentée

Freehand ultrasound imaging : efficient simulation, volume reconstruction and application to augmented reality

• Auteur / Autrice : François Gaits
• Direction : Nicolas Mellado, Adrian Basarab
• Type : Thèse de doctorat
• Discipline(s) : Informatique et Télécommunications
• Date : Soutenance le 16/12/2024
• Etablissement(s) : Université de Toulouse (2023-2025)
• Ecole(s) doctorale(s) : École doctorale Mathématiques, informatique et télécommunications (Toulouse)
• Partenaire(s) de recherche : Etablissement de délivrance conjointe : Université Toulouse 3 Paul Sabatier (1969-2024)
• Partenaire(s) de recherche : Laboratoire : Institut de Recherche en Informatique de Toulouse (1995-....)
• Jury : Examinateurs / Examinatrices : Adrien Bartoli, Piero Tortoli
• Jury : Rapporteurs / Rapporteuses : Raphaëlle Chaine, Diana Mateus
• DOI : 10.70675/0e73d50eza96dz4314z8895z3e7b590dabcb

Mots clés

Mots clés contrôlés

Imagerie ultrasonore

Reconstruction volumique

Réalité augmentée

Mots clés libres

Imagerie ultrasonore

Reconstruction 3-D de volumes

Simulation d'échographies

Représentation neurale implicites

Apprentissage profond

Réalité augmentée

Ultrasound imaging

3-D volume recontruction

Ultrasound simulation

Neural implicit representations

Deep learning

Augmented reality

Résumé

Le travail présenté dans cette thèse se concentre sur la relation entre un volume 3-D connu et les images échographiques obtenues à partir de ce milieu. Dans ce manuscrit, deux axes principaux sont explorés autour de cette question : la Simulation d'images ultrasonores qui permet de créer des images ultrasonores à partir d'informations sur un milieu 3-D, et la Reconstruction de volume ultrasonore 3D qui vise à récupérer ces informations 3-D à partir d'une collection d'images ultrasonores. En outre, ces approches sont examinées dans le cadre de leur utilisation avec la réalité augmentée, ce qui apporte de nouveaux défis et des applications prometteuses. Tout d'abord, une méthode permettant de simuler en temps réel des images ultrasonores à partir de n'importe quelle position et orientation, basé sur n'importe quel milieu 3-D, est étudiée. Cette méthode est basée sur le paradigme du diffuseur pour la simulation d'échographie 2-D qui est étendue à un cadre 3-D. Elle se concentre particulièrement sur les performances de temps et de mémoire, permettant ainsi de créer des diffuseurs physiquement plausibles et, par extension, de réaliser de multiples simulations par seconde. Cette méthode trouve une application directe dans la réalité augmentée, où elle peut être utilisée pour créer des jeux de données réalistes ou des programmes de formation sans avoir besoin d'un système d'échographie. À partir de ces jeux de données, ou d'une acquisition échographique réelle, la reconstruction du volume en 3-D permet de retrouver le milieu qui a été imagé. La méthode proposée crée un volume lisse en moins de 30 secondes, en exploitant les propriétés de la représentation neurale implicite par la création et l'entraînement d'un réseau pour chaque scène. Ce réseau constitue alors une représentation continue de la scène qui peut être sauvegardée et transmise pour une utilisation ultérieure, comme la création d'un modèle 3-D, le traitement du volume ou son affichage direct. Une application directe à la réalité augmentée est l'affichage du volume juste après son acquisition par un praticien, ce qui permet une meilleure visualisation du milieu.

This thesis focuses on the relationship between a known 3-D volume and the ultrasound images obtained from this medium. This manuscript explores two main axes related to this question: Ultrasound image simulation, which enables the creation of ultrasound images from any 3-D medium information; and 3-D Ultrasound volume reconstruction, which aims to retrieve this 3-D information from a collection of ultrasound images. Additionally, these approaches are examined in the context of their use with augmented reality, which introduces new challenges and promising applications. First, a method to simulate ultrasound images from any position and orientation, from any given 3-D medium in real time is explored. This method is based on the standard scatterer paradigm for 2-D ultrasound simulation and is extended to a 3-D framework with a particular interest in time and memory performances, enabling the creation of physically plausible scatterers and by extension simulations multiple times by seconds. This method finds a direct application in augmented reality, where it can be used to create realistic datasets or training programs without any need for an ultrasound system. From these datasets, or from a real ultrasound acquisition, 3-D volume reconstruction enables the retrieval of the medium that has been imaged. The proposed method generates a smooth volume in less than 30 seconds by leveraging the properties of neural implicit representation. This is achieved by training a network for each scene, which then provides a continuous representation of the scene that can be saved and transmitted for further use. Potential uses include creating a 3-D model, treating the volume, or directly displaying it. A straightforward application to augmented reality is a display of the volume right after an acquisition by a practitioner, which allows for a more detailed visualization of the medium.