Apprentissage par renforcement et outcome-weighted learning bayésien pour la médecine de précision : Intégration de connaissances médicales dans les algorithmes de décision

Reinforcement learning and Bayesian outcome-weighted learning for precision medicine : integrating medical knowledge into decision-making algorithms

• Auteur / Autrice : Sophia Yazzourh
• Direction : Nicolas Savy, Philippe Saint Pierre
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques et Applications
• Date : Soutenance le 22/10/2024
• Etablissement(s) : Université de Toulouse (2023-....)
• Ecole(s) doctorale(s) : École doctorale Mathématiques, informatique et télécommunications (Toulouse)
• Partenaire(s) de recherche : Laboratoire : Institut de mathématiques de Toulouse (2007-....)
• Jury : Président / Présidente : Raphaël Porcher
• Jury : Examinateurs / Examinatrices : Emmanuelle Claeys
• Jury : Rapporteur / Rapporteuse : Rodolphe Thiébaut, Julie Josse

Mots clés

Mots clés contrôlés

Apprentissage par renforcement (intelligence artificielle)

Prise de décision

Médecine personnalisée

Mots clés libres

Processus de décision

Savoir d'expert

Apprentissage par préférences

Quantification d'incertitude

Dynamic treatment regimes

Individualized treatment regime

Decision process

Expert knowledge

Preference learning

Uncertainty quantification

Résumé

La médecine de précision vise à adapter les traitements aux caractéristiques de chaque patient en s'appuyant sur les formalismes des ''Individualized Treatment Regimes'' (ITR) et des ''Dynamic Treatment Regimes'' (DTR). Les ITR concernent une seule décision thérapeutique, tandis que les DTR permettent l'adaptation des traitements au fil du temps via une séquence de décisions. Pour être pertinentes, ces approches doivent être en mesure de traiter des données complexes et d'intégrer les connaissances médicales, essentielles pour permettre une utilisation clinique réaliste et sans risques. Cette thèse présente trois projets de recherche. Premièrement, un état de l'art des méthodes d'intégration des connaissances médicales dans les modèles de ''Reinforcement Learning'' (RL) a été réalisé, en tenant compte du contexte des DTR et de leurs contraintes spécifiques pour une application sur des données observationnelles. Deuxièmement, une méthode probabiliste de construction des récompenses a été développée pour les modèles de RL, s'appuyant sur les préférences des experts médicaux. Illustrée par des études de cas sur le diabète et le cancer, cette méthode génère des récompenses de manière à exploiter les données, le savoir de l'expert médical et les relations entre les patients, évitant les biais de construction ''à la main'' et garantissant une cohérence avec les objectifs médicaux. Troisièmement, un cadre bayésien pour la méthode ''Outcome-Weighted Learning'' (OWL) a été proposé afin de quantifier l'incertitude dans les recommandations de traitement, renforçant ainsi la robustesse des décisions thérapeutiques, et a été illustré à travers de simulations de données. Les contributions de cette thèse visent à améliorer la fiabilité des outils de prise de décision en médecine de précision, d'une part en intégrant les connaissances médicales dans les modèles de RL, et d'autre part en proposant un cadre bayésien pour quantifier l'incertitude dans le modèle OWL. Ces travaux s'inscrivent dans une perspective globale de collaboration interdisciplinaire en particulier entre les domaines de l'apprentissage automatique, des sciences médicales et des statistiques.

Precision medicine aims to tailor treatments to the characteristics of each patient by relying on the frameworks of Individualized Treatment Regimes (ITR) and Dynamic Treatment Regimes (DTR). ITRs involve a single therapeutic decision, while DTRs allow for the adaptation of treatments over time through a sequence of decisions. For these approaches to be effective, they must be capable of handling complex data and integrating medical knowledge, which is essential for enabling realistic and safe clinical use. This work presents three research projects. First, a state-of-the-art review of methods for integrating medical knowledge into Reinforcement Learning (RL) models was conducted, considering the context of DTR and their specific constraints for application to observational data. Second, a probabilistic method for constructing rewards was developed for RL models, based on the preferences of medical experts. Illustrated by case studies on diabetes and cancer, this method generates data-driven rewards, avoiding the biases of ''manual'' construction and ensuring consistency with medical objectives in learning treatment recommendation strategies. Third, a Bayesian framework for the Outcome-Weighted Learning (OWL) method was proposed to quantify uncertainty in treatment recommendations, thereby enhancing the robustness of therapeutic decisions, and was illustrated through simulations studies. This contributions aim to improve the reliability of decision-making tools in precision medicine, by integrating medical knowledge into RL models on one hand, and proposing a Bayesian framework to quantify uncertainty in the OWL model on the other. This work is part of a global perspective of interdisciplinary collaboration, particularly among the fields of machine learning, medical sciences, and statistics.