Méthodes d'apprentissage profond pour la localisation, la segmentation et la robustesse en imagerie médicale

Deep learning methods for localization, segmentation and robustness in medical imaging

• Auteur / Autrice : Othmane Laousy
• Direction : Marie-Pierre Revel, Maria Vakalopoulou
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 09/07/2024
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale INTERFACES : approches interdisciplinaires, fondements, applications et innovation
• Partenaire(s) de recherche : Laboratoire : Mathématiques et informatique pour la complexité et les systèmes (Gif-sur-Yvette, Essonne ; 2006-....)
• Partenaire(s) de recherche : Référent : CentraleSupélec
• Partenaire(s) de recherche : graduate school : Université Paris-Saclay. Graduate School Sciences de l'ingénierie et des systèmes (2020-....)
• Jury : Président / Présidente : Laure Fournier-Dujardin
• Jury : Examinateurs / Examinatrices : Jose Dolz, Prateek Prasanna, Isabelle Bloch
• Jury : Rapporteurs / Rapporteuses : Jose Dolz, Prateek Prasanna

Mots clés

Mots clés contrôlés

Traitement d'images -- Techniques numériques

Apprentissage par renforcement (intelligence artificielle)

Imagerie médicale

Apprentissage profond

Mots clés libres

Apprentissage profond

Imagerie médicale

Apprentissage par renforcement

Localisation

Segmentation

Robustesse certifiée

Deep learning

Medical imaging

Reinforcement learning

Localization

Segmentation

Certified robustness

Résumé

Ces dernières années, nous avons assisté à un essor remarquable des avancées à la croisée de l'apprentissage profond et de la médecine, en particulier dans le domaine de l'imagerie médicale. Cette évolution rapide a engendré une multitude de défis nécessitant une attention particulière.L'un des principaux défis découlant de l'évolution des techniques d'apprentissage profond est la demande de données étendues et diversifiées pour l'entraînement des modèles. A mesure que les modèles deviennent plus sophistiqués, leur besoin en données s'intensifie, ce qui constitue un obstacle à l'acquisition d'ensembles de données non seulement volumineux, mais aussi véritablement représentatifs des divers scénarios médicaux rencontrés en pratique.Une autre préoccupation majeure concerne la vulnérabilité des modèles d'intelligence artificielle aux attaques adversariales, où de petites perturbations des données d'entrée peuvent entraîner des répercussions significatives sur la fiabilité du modèle. La sensibilité de ces modèles aux manipulations adverses constitue une menace potentielle pour leur déploiement dans des scénarios médicaux réels, où les conséquences de ces erreurs peuvent être désastreuses. Il est impératif de protéger les modèles d'IA contre les attaques adverses pour inspirer confiance aux professionnels de la santé et aux patients qui comptent sur ces technologies pour obtenir des diagnostics précis et des recommandations de traitement.Cette thèse explore ces défis pressants, offrant des perspectives sur les directions potentielles pour atténuer l'impact de la rareté des données et améliorer la fiabilité des modèles d'IA face aux attaques adversariales.Tout d'abord, nous explorons l'apprentissage par renforcement profond (Deep Reinforcement Learning, DRL) pour aborder les problèmes liés à l'apprentissage dans des contextes où les données sont rares. Cette thèse présente une application novatrice du DRL dans l'analyse d'images médicales, en se concentrant particulièrement sur les défis de localisation et de segmentation pour la quantification de la sarcopénie à partir de scans CT. En optimisant la prise de décision d'un agent par essais et erreurs, nous avons développé un réseau Deep Q-Network qui automatise l'identification de la coupe de la troisième vertèbre lombaire. Pour la segmentation, nous avons employé un algorithme d'optimisation de politique proximale pour tracer les contours des muscles psoas et parietaux, automatisant le calcul de l'indice de masse musculaire squelettique. Le pipeline présenté a ensuite été utilisé pour évaluer la sarcopénie pour le pronostic des patients atteints de cancers solides en état critique, validant ainsi la viabilité pratique de notre approche DRL dans des contextes cliniques réels.La deuxième partie de cette thèse se concentre sur le renforcement de la sécurité et de la fiabilité des modèles d'IA en incorporant une robustesse certifiée contre les attaques adversariales. Les attaques adversariales ont mis en évidence la vulnérabilité des modèles d'apprentissage profond, en particulier dans des domaines à haut risque comme le diagnostic médical. Pour atténuer cette vulnérabilité, nous explorons et développons des approches garantissant un niveau de robustesse contre les manipulations adversariales en tirant parti de la puissance des modèles de diffusion et du lissage aléatoire. Ces méthodes fournissent non seulement une protection contre les éventuelles violations de sécurité, mais instaurent aussi une plus grande confiance dans le déploiement des systèmes de santé pilotés par l'IA.À travers ces orientations de recherche, cette thèse contribue à l'évolution continue de l'apprentissage profond en médecine en abordant les défis de la rareté des données et des attaques adversariales, traçant ainsi une voie potentielle vers un avenir plus résilient et plus fiable pour l'IA dans l'imagerie médicale.

In recent years, there has been a remarkable surge in advancements at the crossroads of deep learning and medicine, particularly in the realm of medical imaging. This rapid evolution has ushered in a multitude of challenges that necessitate careful consideration.One of the primary challenges stemming from the evolution of deep learning techniques is the demand for extensive and diverse datasets for model training. As models become more sophisticated, their hunger for data intensifies, presenting an obstacle in acquiring datasets that are not only voluminous but also truly representative of the diverse medical scenarios encountered in practice.Another critical concern revolves around the vulnerability of artificial intelligence models to adversarial attacks, wherein small input perturbations can lead to significant disruptions in model reliability. The sensitivity of these models to adversarial manipulations poses a potential threat to their deployment in real-world medical scenarios where the consequences of errors could be dire. Safeguarding AI models against adversarial attacks is imperative for instilling confidence among healthcare professionals and patients who rely on these technologies for accurate diagnoses and treatment recommendations.This thesis delves into these pressing challenges, offering insights on potential directions for mitigating the impact of data scarcity and enhancing the trustworthiness of AI models in the face of adversarial attacks.First, we explore Deep Reinforcement Learning (DRL) to address issues related to learning in settings where data is scarce. This thesis presents a novel application of DRL to medical image analysis, particularly focusing on the challenges of localization and segmentation within sarcopenia quantification from CT scans. By optimizing decision-making of an agent through trial and error, we developed a Deep Q-Network framework that automates the identification of the third lumbar vertebra slice. For segmentation, we employ a proximal policy optimization algorithm to trace the contours of the psoas and parietal muscles, automating calculation of the skeletal muscle index. The presented pipeline was then used to asses sarcopenia for the prognosis of critically ill solid cancer patients, further validating the practical viability of our DRL approach in real-world clinical settings.The second segment of this thesis focuses on bolstering the safety and reliability of AI models by incorporating certified adversarial robustness. Adversarial attacks have underscored the vulnerability of deep learning models, particularly in high-stakes domains like medical diagnostics. To mitigate this vulnerability, we explore and develop approaches that guarantee a level of robustness against adversarial manipulations by leveraging the power of denoising diffusion models and randomized smoothing. These methods not only provide a safeguard against potential security breaches but also instill greater confidence in the deployment of AI-driven healthcare systems.Through these research directions, this thesis contributes to the ongoing evolution of deep learning in medicine by addressing the challenges of data scarcity and adversarial attacks, charting a course toward a more resilient and trustworthy future for AI in medical imaging.