Reconnaissance multi-niveaux de l'activité chirurgicale

Multi-level surgical activity recognition

• Auteur / Autrice : Sanat Ramesh
• Direction : Nicolas Padoy, Paolo Fiorini
• Type : Thèse de doctorat
• Discipline(s) : Image et vision
• Date : Soutenance le 23/05/2023
• Etablissement(s) : Strasbourg en cotutelle avec Università degli studi (Vérone, Italie)
• Ecole(s) doctorale(s) : École doctorale Mathématiques, sciences de l'information et de l'ingénieur (Strasbourg ; 1997-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire des sciences de l'ingénieur, de l'informatique et de l'imagerie (Strasbourg ; 2013-....)
• Jury : Président / Présidente : Marco Cristani
• Jury : Examinateurs / Examinatrices : Thomas Lampert
• Jury : Rapporteur / Rapporteuse : Sandrine Voros, Stamatia Giannarou

Mots clés

Mots clés contrôlés

Court-circuit gastrique

Chirurgie

Reconnaissance de l'activité humaine (informatique)

Mots clés libres

Reconnaissance d'activité chirurgicale

Bypass gastrique

Reconnaissance de phases et d'étapes

Apprentissage faiblement supervisé

Augmentation vidéo temporelle

Ensemble de données multicentriques

Surgical activity recognition

Gastric bypass

Phase and step recognition

Weakly supervised learning

Temporal video augmentation

Multi-centric dataset

Résumé

Les innovations en matière de chirurgie mini-invasive ont amélioré les résultats pour les patients, mais ont accru la complexité des flux de travail chirurgicaux. L’optimisation du flux de travail en reconnaissant les activités chirurgicales est essentielle pour fournir une assistance contextuelle. Des recherches importantes ont été effectuées sur la reconnaissance des activités à granularité grossière (phases). Les méthodes de reconnaissance détaillée des activités sont essentielles pour mieux modéliser les flux de travail et faire progresser les capacités des systèmes contextuels. Cette thèse vise à développer des méthodes de reconnaissance d'activité multi-niveaux (phase et étape) à partir de vidéos de bypass gastrique laparoscopique Roux-en-Y (LRYGB). Tout d’abord, nous introduisons un vaste ensemble de données entièrement annoté avec des phases et des étapes et ciblons la reconnaissance conjointe. Ensuite, nous proposons une méthode d'apprentissage faiblement supervisé utilisant les phases comme signaux faibles pour la reconnaissance des pas. Par la suite, nous étudions l'augmentation des données pour un entraînement optimal de ces modèles, en concluant par une étude de généralisation sur un grand ensemble de données multicentriques.

Innovations in Minimally Invasive Surgery have improved patient outcomes but have increased the complexity of surgical workflows. Optimizing workflow by recognizing surgical activities is essential to provide context-aware assistance. Significant research has been done on recognizing coarse-grained activities (phases). Methods for detailed activity recognition are essential to better model workflows and advance the capabilities of Context-Aware Systems. This thesis aims to develop multi-level (phase and step) activity recognition methods from Laparoscopic Roux-en-Y Gastric Bypass (LRYGB) videos. First, we introduce a large dataset fully annotated with phases and steps and target joint recognition. Next, we propose a weakly supervised learning method using phases as weak signals for step recognition. Subsequently, we investigate data augmentation for optimal training of these models concluding with a generalization study on a large multi-centric dataset.