Développement d'une infrastructure logicielle conviviale et modulaire pour des méthodes d'apprentissage profond appliquées à la segmentation de bio-images tridimensionnelles

Developing a User-Friendly and Modular Framework for Deep Learning Methods in 3D Bioimage Segmentation

• Auteur / Autrice : Guillaume Mougeot
• Direction : Frédéric Chausse, Sophie Desset, Katja Graumann
• Type : Thèse de doctorat
• Discipline(s) : Image, Système de perception, Robotique
• Date : Soutenance le 08/12/2023
• Etablissement(s) : Université Clermont Auvergne (2021-...) en cotutelle avec Oxford Brookes University
• Ecole(s) doctorale(s) : École doctorale des sciences pour l'ingénieur (Clermont-Ferrand)
• Partenaire(s) de recherche : Laboratoire : Institut Pascal (Aubière, Puy-de-Dôme) - Génétique, Reproduction et Développement (Clermont-Ferrand)
• Jury : Président / Présidente : Nicolas Passat
• Jury : Examinateurs / Examinatrices : David Rousseau
• Jury : Rapporteurs / Rapporteuses : Nicolas Passat, Carole Frindel

Mots clés

Mots clés contrôlés

Vision artificielle (robotique)

Imagerie en biologie

Apprentissage profond

Mots clés libres

Segmentation

Auto-Supervision

Bio-Imagerie 3D

Apprentissage profond

Microscopie

Vision Artificielle

Segmentation

Self-Supervision

3D Bio-Images

Deep Learning

Microscopie

Computer Vision

Résumé

L'émergence de l'apprentissage profond a donné un nouveau souffle à l'analyse d'images, en particulier pour la segmentation, une étape difficile mais nécessaire pour quantifier des objets bidimensionnels (2D) et tridimensionnels (3D). Malgré les promesses de l'apprentissage profond, ces méthodes ne se répandent que lentement dans le domaine de la biologie. Au cours de ce projet de thèse, le noyau 3D de la cellule est utilisé comme objet d'intérêt pour comprendre comment ses variations de forme contribuent à l'organisation du matériel génétique. Tout d'abord, une étude bibliographique a montré que très peu de méthodes disponibles publiquement pour la segmentation du noyau 3D répondent aux exigences minimales de reproductibilité. Ces méthodes ont ensuite été évaluées et seule l'une d'entre elles, appelée nnU-Net, a surpassé le meilleur outil spécialisé de vision par ordinateur. Sur la base de ces observations, une nouvelle philosophie de développement a été élaborée et, à partir de celle-ci, Biom3d, une nouvelle infrastructure logicielle pour l'apprentissage profond, a vu le jour. Biom3d est un outil convivial utilisé avec succès par les biologistes impliqués dans la segmentation des noyaux 3D et offrant une nouvelle alternative pour mesurer automatiquement et avec précision les paramètres morphologiques des noyaux. Bien optimisé, Biom3d surpasse également les performances des méthodes de pointe sur une grande variété de problèmes de segmentation biologique et médicale. Modulaire, Biom3d est un cadre durable compatible avec les dernières innovations en matière d'apprentissage profond, telles que les méthodes auto-supervisées. L'auto-supervision vise à répondre au besoin important en annotation manuelle des méthodes d'apprentissage profond, en pré-entraînant les modèles sur de grands ensembles de données non annotées pour extraire des connaissances a priori avant de les réentraîner sur des ensembles de données annotées. Dans ce travail, une approche auto-supervisée basée sur le pré-entraînement d'un modèle U-Net entier avec les fonctions de coût Triplet et Arcface est développée et démontre des améliorations significatives par rapport aux méthodes supervisées au regard de la segmentation 3D. La performance, la modularité et la nature interdisciplinaire des outils développés au cours de cette thèse serviront de plateforme d'innovation pour un large panel d'utilisateurs allant des utilisateurs biologistes aux futurs développeurs de méthodes d'apprentissage profond.

The emergence of deep learning has breathed new life into image analysis, especially for the segmentation, a challenging step required to quantify bidimensional (2D) and tridimensional (3D) objects. Despite deep learning promises, these methods are only slowly spreading in the biological field. In this PhD project, the 3D nucleus of the cell is used as the object of interest to understand how its shape variations contribute to the organisation of the genetic material. First a literature survey showed that very few publicly available methods for 3D nucleus segmentation provide the minimum requirements for their reproducibility. These methods were subsequently benchmarked and only one of them called nnU-Net surpassed the best specialized computer vision tool. Based on these observations, a new development philosophy was designed and, from it, Biom3d, a novel deep learning framework emerged. Biom3d is a user-friendly tool successfully used by biologists involved in 3D nucleus segmentation and provides a new alternative for automatically and accurately computing nuclear shape parameters. Being well optimized, Biom3d also surpasses the performance of cutting-edge methods on a wide variety of biological and medical segmentation problems. Being modular, Biom3d is a sustainable framework compatible with the latest deep learning innovations, such as self-supervised methods. Self-supervision aims at tackling the important need for deep learning methods in manual annotations by pretraining models on large unannotated datasets to extract information first before retraining them on annotated datasets. In this work, a self-supervised approach based on pretraining an entire U-Net model with the Triplet and Arcface losses was developed and demonstrates significant improvements over supervised methods for 3D segmentation. The performance, modularity and interdisciplinary nature of the tools developed during this project will serve as an innovation platform for a wide panel of users ranging from biologist users to future deep learning developers.