Méthodes d'apprentissage pour la segmentation d'instruments chirurgicaux sur jeux de données non étiquetés

Methods for learning surgical instrument segmentation from unlabelled datasets using prior knowledge

• Auteur / Autrice : Luca Sestini
• Direction : Nicolas Padoy, Giancarlo Ferrigno
• Type : Thèse de doctorat
• Discipline(s) : Image et vision
• Date : Soutenance le 08/06/2023
• Etablissement(s) : Strasbourg
• Ecole(s) doctorale(s) : École doctorale Mathématiques, sciences de l'information et de l'ingénieur (Strasbourg ; 1997-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire des sciences de l'ingénieur, de l'informatique et de l'imagerie (Strasbourg ; 2013-....)
• Jury : Président / Présidente : Caroline Essert
• Jury : Examinateurs / Examinatrices : Elena De Momi, Benoît Rosa, Mathias Unberath
• Jury : Rapporteurs / Rapporteuses : Diana Mateus, Danail Stoyanov

Mots clés

Mots clés contrôlés

Imagerie médicale

Endoscopie

Vision par ordinateur en médecine

Apprentissage profond

Mots clés libres

Apprentissage profond

Vision par ordinateur

Apprentissage auto-supervisé

Endoscopie

Segmentation d'instruments chirurgicaux

Deep learning

Computer vision

Self-supervised learning

Endoscopy

Surgical Instrument Segmentation

Résumé

Les vidéos chirurgicales constituent une riche source d'informations pour l'étude et l'amélioration de la chirurgie mini-invasive. L'identification et la localisation des instruments chirurgicaux à partir de ces vidéos est une étape cruciale pour le développement d'applications telles que l'évaluation automatique des compétences chirurgicales et l'aide à la décision en temps réel. Les approches de pointe pour une telle tâche reposent sur l'apprentissage entièrement supervisé de modèles d'apprentissage profond, nécessitant des données annotées manuellement, difficiles à collecter à grande échelle. Cette thèse propose des méthodes d'apprentissage profond pour la localisation et l'identification des instruments, qui peuvent être entraînées sur des ensembles de données totalement non étiquetées. Les connaissances générales sur les instruments chirurgicaux - moins chères et plus faciles à obtenir que les annotations manuelles - sont incorporées dans les architectures d'apprentissage pour fabriquer des signaux de supervision efficaces. Les approches proposées s'appuient sur de nouvelles méthodes d'apprentissage non supervisé, d'apprentissage de représentation auto-supervisé et d'apprentissage à partir d'étiquettes bruitées, toutes conçues pour exploiter efficacement ces connaissances préalables et complémentaires. Nous espérons que les approches que nous proposons pourront faciliter le développement de technologies d'assistance permettant d’améliorer la qualité des soins chirurgicaux.

Surgical videos offer a rich source of information for studying and improving minimally invasive surgery. Identifying and localising surgical instruments from these videos is a crucial step for the development of valuable applications like automatic surgical skill assessment and real-time decision support. State-of-the-art approaches for such task rely on fully-supervised training of deep learning models, requiring manually annotated data, hard to collect at a large scale. This thesis proposes deep learning methods for instrument localisation and identification which can be trained on completely unlabelled datasets. General knowledge about surgical instruments - cheaper and more easily obtained than manual annotations - is incorporated in the training architectures to fabricate effective supervision signals. The proposed approaches leverage novel methods for unsupervised learning, self-supervised representation learning, and learning from noisy labels, all designed to effectively mine such prior and complementary knowledge. We hope our proposed approaches can facilitate the development of valuable assistive technologies to improve the quality of surgical care.