Recalage déformable, jeux de données et protocoles d'évaluation pour la chirurgie mini-invasive abdominale augmentée

Non rigid registration, datasets and evaluation protocols for augmented reality in minimally invasive abdominal surgery

• Auteur / Autrice : Richard Modrzejewski
• Direction : Adrien Bartoli
• Type : Thèse de doctorat
• Discipline(s) : Vision par ordinateur
• Date : Soutenance le 28/08/2020
• Etablissement(s) : Université Clermont Auvergne‎ (2017-2020)
• Ecole(s) doctorale(s) : École doctorale des sciences pour l'ingénieur (Clermont-Ferrand)
• Partenaire(s) de recherche : Laboratoire : Institut Pascal (Aubière, Puy-de-Dôme)
• Jury : Examinateurs / Examinatrices : Géraldine Morin, Toby Collins
• Jury : Rapporteur / Rapporteuse : Yohan Payan, Caroline Essert

Mots clés

Mots clés contrôlés

Réalité augmentée

Chirurgie assistée par ordinateur

Mots clés libres

Réalité augmentée

Chirurgie assistée par ordinateur

Coelioscopie

Recalage non-rigide

Modélisation d’éclairage

Shading

Multi-view stereo

Augmented reality

Computer assisted surgery

Laparoscopy

Deformable registration

Light Modelling

Shading

Multi-view stereo

Résumé

Cette thèse concerne les techniques de recalage déformable de données pré-opératoires dans la scène peropératoire en tant qu’étape indispensable à la réalisation de réalité augmentée pour la chirurgie abdominale. De telles techniques sont ainsi discutées, de même que les méthodologies d’évaluation associées à ces dernières.Deux contextes sont considérés : le recalage pour la chirurgie coelioscopique assistée par ordinateur et le recalage postural de patient sur la table d’opération. Pour ces deux contextes, les besoins auxquels doivent répondre les algorithmes de recalage considérés sont discutés, ainsi que les principales limitations des solutions existantes.Des algorithmes réalisés au cours de cette thèse, permettant de répondre à ces besoins sont ainsi proposés et discutés. Une attention toute particulière est alors accordée à leur évaluation. Différents jeux de données permettant une évaluation quantitative de la précision des algorithmes de recalage, créés eux aussi durant cette thèse, et rendu publics, sont ainsi présentés. De telles données sont extrêmement importantes car elles répondent à un manque de données standardisées permettant d’évaluer l’erreur de recalage de façon quantitative, et ainsi de comparer les différents algorithmes. La modélisation de l’éclairage de la scène coelioscopique, permettant d’extraire des contraintes fortes sur les données à recaler et la surface de l’organe observé, et ainsi d’être utilisée pour contraindre ces problématiques de recalage, est aussi discutée. Ce manuscrit est séparé en sept parties. La première traite du contexte de la thèse. La chirurgie mini-invasive est présentée ainsi que différents problèmes de vision par ordinateur généraux qui, une fois appliqués au contexte médical permettent de définir la chirurgie assistée par ordinateur. La seconde partie traite des prérequis à la lecture de la thèse. Le prétraitement des données pré-opératoires et per-opératoires, avant utilisation par les algorithmes de recalage présentés,est ainsi discuté. La troisième partie correspond au recalage de données hépatiques en coelioscopie, et de l’évaluation associée à cette méthode. La quatrième partie correspond quant à elle à la problématique du recalage postural. La cinquième partie propose une modélisation de l’éclairage en coelioscopie pouvant être utilisée pour obtenir des contraintes fortes entre la surface observée et les images coelioscopiques. La sixièmepartie propose une utilisation des modèles de lumière discutés dans la partie précédente afin de raffiner et densifier des reconstructions de la scène coelioscopique. Enfin, la septième et dernière partie correspond à nos conclusions vis-à-vis des problématiques abordées au cours de la thèse, et aux travaux futurs.

This thesis deals with deformable registration techniques of preoperative data to the intra-operative sceneas an indispensable step in the realisation of augmented reality for abdominal surgery. Such techniques arethus discussed as well as evaluation methodologies associated with them. Two contexts are considered : theregistration for computer-assisted laparoscopic surgery and the postural registration of the patient on theoperating table. For these two contexts, the needs to be met by the registration algorithms considered arediscussed, as well as the main limitations of the existing solutions. Algorithms developped during this thesis,allowing to meet these needs are thus proposed and discussed. Special attention is given to their evaluation.Different datasets allowing a quantitative evaluation of the accuracy of the registration algorithms, also realizedduring this thesis, and made public, are also discussed. Such data are extremely important because they respondto a lack of evaluation data needed in order to evaluate the registration error in a quantitative way, and thus tocompare the different algorithms. The modeling of the illumination of the laparoscopic scene, allowing one toextract strong constraints between the data to be registered and the surface of the observed organ, and thus tobe used to constrain these registration problems, is also discussed. This manuscript has seven parts. The firstdeals with the context surrounding this thesis. Minimally invasive surgery is presented as well as various generalcomputer vision problems which, when applied to the medical context, allow the definition of computer-assistedsurgery. The second part deals with the prerequisites for reading the thesis. The pre-processing of pre-operativeand per-operative data, before their use by the presented registration algorithms, is thus discussed. The thirdpart corresponds to the registration of hepatic data in laparoscopy, and the evaluation associated with thisproblems. The fourth part deals with the problem of postural registration. The fifth part proposes a modellingof the lighting in laparoscopy which can be used to obtain strong constraints between the observed surfaceand the laparoscopic images. The sixth part proposes a use of the light models discussed in the previous partin order to refine and densify reconstructions of the laparoscopic scene. Finally, the seventh and last partcorresponds to our conclusions regarding the issues addressed during this thesis, and to future work.