Apprentissage de représentations de données multimodales et longitudinales pour le suivi de la transplantation rénale

Representation learning of multimodal and longitudinal data for renal transplantation monitoring

• Auteur / Autrice : Léo Milecki
• Direction : Marc-Olivier Timsit, Maria Vakalopoulou
• Type : Thèse de doctorat
• Discipline(s) : Ingéniérie des systèmes complexes
• Date : Soutenance le 17/01/2024
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Interfaces : matériaux, systèmes, usages (Palaiseau, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Mathématiques et informatique pour la complexité et les systèmes (Gif-sur-Yvette, Essonne ; 2006-....)
• Partenaire(s) de recherche : Référent : CentraleSupélec (2015-....)
• Partenaire(s) de recherche : graduate school : Université Paris-Saclay. Graduate School Sciences de l’ingénierie et des systèmes (2020-….)
• Jury : Président / Présidente : Carole Lartizien
• Jury : Examinateurs / Examinatrices : Dimitris Samaras, Enzo Ferrante, Mert Sabuncu, Pietro Gori, Alexandre Loupy
• Jury : Rapporteur / Rapporteuse : Dimitris Samaras, Enzo Ferrante

Mots clés

Mots clés contrôlés

Rein -- Transplantation

Imagerie médicale

Apprentissage automatique

Apprentissage profond

Mots clés libres

Apprentissage profond

Apprentissage auto-Supervisé

Apprentissage multimodal

Données longitudinales

Imagerie médicale

Transplantation rénale

Deep learning

Self-Supervised learning

Multimodal learning

Longitudinal data

Medical imaging

Renal transplantation

Résumé

L'intelligence artificielle (IA) a révolutionné la recherche en vision par ordinateur il y a une décennie. Depuis lors, les algorithmes d'IA ont démontré une pléthore d'études remarquables et d'approches à la pointe de l'état de l'art pour de nombreuses applications, notamment l'analyse d'imagerie médicale. L'objectif de cette thèse est d'explorer les récentes avancées en apprentissage automatique, en mettant l'accent sur les approches d'apprentissage profond, afin de concevoir des algorithmes pour le diagnostic basé sur l'imagerie médicale. En particulier, des méthodologies innovantes exploitant des techniques d'auto-supervision et des approches multimodales sont développées pour générer des prédicteurs robustes capables d'associer les caractéristiques de l'imagerie à la progression du patient. Ces méthodologies sont employés pour une application clinique spécifique, le suivi de patients ayant subit une transplantation rénale.La transplantation rénale apparait comme la solution la plus efficace pour l'insuffisance rénale en phase terminale. Cependant, plusieurs mécanismes, dont l'ischémie, l'hyperméthylation, le rejet aigu, la fibrose ou les lésions parenchymateuses des donneurs, peuvent entraîner des lésions rénales et affecter la survie du greffon. À ce jour, la prise en charge clinique des bénéficiaires de la transplantation repose principalement sur des biopsies percutanées de l'organe répétées, entraînant de l'inconfort, des coûts accrus et un risque significatif de complications hémorragiques. Étant donné que la vascularisation des tissus ou l'infiltration des cellules inflammatoires peuvent induire des signaux spécifiques en imagerie par résonance magnétique (IRM) ou en échographie, nous émettons l'hypothèse que la transplantation rénale constitue une source pertinente de données pour les études d'imagerie.Tout d'abord, nous concevons des outils de détection et de segmentation des reins transplantés basés sur une approche d'apprentissage profond non supervisée, exploitant la différence de rehaussement des greffons dans différentes séquences IRM. Cette étape cruciale permet le calcul de caractéristiques radiomiques prédéfinies dans le greffon et permet d'appliquer une technique de base pour extraire des biomarqueurs robustes à partir des données d'imagerie médicale. Ensuite, nous proposons une approche pour apprendre directement à extraire des caractéristiques pertinentes à partir des données d'IRM de greffons rénaux en utilisant des méthodologies d'apprentissage contrastif. Nous explorons la pertinence de la représentation apprise pour la prédiction de la fonction rénale à partir des examens d'imagerie longitudinaux en utilisant une architecture de transformer adaptée à la gestion des examens manquants. Nous démontrons également le potentiel de nos représentations d'imagerie apprises pour prédire la survie du greffon à partir des examens précoces d'IRM post-transplantation. Enfin, nous explorons des approches multimodales pour intégrer davantage les informations cliniques et biologiques dans l'apprentissage de nos représentations d'image en exploitant l'expressivité des données textuelles avec les récentes avancées en traitement automatique du langage naturel et en utilisant une technique d'apprentissage contrastif multivues.Nos expériences mettent en évidence la pertinence de la prise en compte des données d'imagerie longitudinales pour extraire des représentations et des informations pertinentes en vue du suivi des transplantations et, par conséquent, dans l'étude des mécanismes de complications et de dysfonctionnements chroniques après la transplantation, ouvrant la voie à des recherches futures dans ce domaine.

A decade ago, the field of computer vision was transformed by the advent of Artificial Intelligence (AI). AI algorithms have since made significant strides in various applications, with particular success in medical imaging analysis. This thesis explores recent advancements in machine learning, with a specific focus on leveraging deep learning techniques to develop algorithms for diagnosing medical conditions based on imaging data. The methodologies introduced in this research utilize self-supervision techniques and multimodal approaches, aiming to create robust predictive models that connect imaging features with patient progress. This work is tailored to address a specific clinical need: the monitoring of renal transplant recipients.Renal transplantation has emerged as a highly effective treatment for end-stage renal disease. However, various mechanisms, including ischemia, hypermethylation, acute rejection, fibrosis, or donor-related parenchymal lesions, can contribute to kidney injury and affect transplant outcomes. Presently, the clinical management of transplant recipients relies heavily on recurrent percutaneous biopsies, which come with drawbacks such as patient discomfort, increased costs, and the risk of hemorrhagic complications. Given that specific MRI or ultrasound signals can be induced by tissue vascularization and inflammatory cell infiltration, the hypothesis is that kidney transplant data represents a valuable resource for imaging studies.Our research begins by developing tools for the detection and segmentation of renal transplants using unsupervised deep learning. These tools capitalize on differences in transplant enhancement across multiple MRI sequences, enabling the computation of predefined radiomics features and serving as a foundation for extracting robust imaging biomarkers. Subsequently, an approach that employs contrastive learning methods to extract pertinent features from renal transplant MRI data directly is presented. The utility of these learned representations is explored in forecasting renal transplant function, particularly through longitudinal imaging follow-up examinations. Additionally, a transformer architecture is employed to handle missing data effectively. This study also underscores the potential of these imaging representations in predicting transplant survival using early MRI data. Finally, a multimodal approach is investigated to integrate clinical and biological information into the image representations. This is achieved by incorporating textual data and leveraging advancements in Natural Language Processing alongside multiview contrastive learning.The experimental findings emphasize the importance of considering longitudinal imaging data for meaningful representations and insights into transplant monitoring. This approach proves valuable in understanding complex complications and chronic dysfunction mechanisms following transplantation. It paves the way for future research in this domain.