Contribution à la classification multimodale dans le cas d'une rareté de données : application au diagnostic précoce de la maladie de Lyme

Contribution to multimodal classification problem with data scarcity : application to the early diagnosis of Lyme disease

• Auteur / Autrice : Sk Imran Hossain
• Direction : Engelbert Mephu-Nguifo
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 11/05/2023
• Etablissement(s) : Université Clermont Auvergne (2021-...)
• Ecole(s) doctorale(s) : École doctorale des sciences pour l'ingénieur (Clermont-Ferrand)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'Informatique, de Modélisation et d'Optimisation des Systèmes
• Jury : Président / Présidente : Vincent Barra
• Jury : Examinateurs / Examinatrices : Jocelyn De Goër de Herve, Richard Emilion, Olivier Lesens
• Jury : Rapporteurs / Rapporteuses : Germain Forestier, Isabelle Bichindaritz, Anna Fabijanska

Mots clés

Mots clés contrôlés

Diagnostic

Lyme, Maladie de

Apprentissage profond

Emploi en diagnostic

Intelligence artificielle

Mots clés libres

Intelligence artificielle

Rareté des données

Apprentissage profond

Multimodalité

Maladie de Lyme

Erythema migrans

Artificial intelligence

Data scarcity

Deep learning

Multimodality

Lyme disease

Erythema migrans

Résumé

Les récents progrès des techniques d'apprentissage profond ont permis la mise au point de modèles d'intelligence artificielle (IA) pour aider au diagnostic des maladies de la peau. Dans la littérature il est montré que l'intégration de données provenant de plusieurs sources dans le processus d'analyse de données peut améliorer considérablement les performances du modèle d'IA par rapport à une analyse basée sur une source unique, notamment dans le cas du diagnostic médical. Bien que les systèmes basés sur l'apprentissage profond rivalisent avec les experts dermatologues pour le diagnostic du cancer de la peau, leur utilisation reste limitée au niveau de maladies telles que la maladie de Lyme, où les données d'entraînement sont rares.Dans cette thèse, nous nous sommes focalisés sur le développement d'un modèle d'IA appliqué à la maladie de Lyme avec la particularité que cette maladie nécessite à la fois des données contextuelles de patients et des images de lésions cutanées pour pouvoir établir un diagnostic correct. En outre, il n'existe aucun jeu de données comprenant ces deux modalités. Le pré-apprentissage auto-supervisé est efficace pour résoudre le problème de la rareté des données lorsqu'un grand nombre de données du domaine sont disponibles par ailleurs. Cependant, pour certaines maladies comme la maladie de Lyme, il est difficile de collecter un grand nombre d'images du domaine. Pour faire face à ce problème, nous avons proposé une approche personnalisée d'apprentissage par transfert afin d'améliorer les performances du réseau de neurones convolutifs pré-entraîné ImageNet, en mettant en place une phase de pré-entraînement supplémentaire avec un ensemble de données hors-domaine. En outre, pour faire face au manque de données d'entraînement concernant les données contextuelles des patients, nous avons proposé une approche d'élicitation d'opinion d'experts (médecins) pour créer un modèle qui calcule la probabilité de la maladie à partir des données relatives à un patient avec une validation intuitive du modèle basée sur un arbre de décision et une analyse formelle des concepts. L'approche d'élicitation proposée, basée sur un questionnaire, est moins exigeante pour les experts. Nous avons également proposé une approche pour combiner les scores de probabilité de la maladie provenant de plusieurs modalités en assurant un droit de veto pour une modalité, en fonction du choix d'un expert.Dans le cadre de cette thèse, nous avons constitué un jeu de données d'images de lésions cutanées, liées à la maladie de Lyme avec une classification réalisée par un panel de dermatologues experts. Nous avons également créé un autre jeu de données d'annotation de masque de poils de lésions cutanées permettant de traiter les artefacts liés aux poils sur les lésions, de manière efficace. Les techniques proposées dans cette thèse ont été utilisées pour créer une application mobile d'aide au diagnostic précoce de la maladie de Lyme, mais elles pourraient être utiles à d'autres maladies similaires pour lesquelles il existe un problème de pénurie de données.

Recent advancement in deep learning techniques has eased the creation of artificial intelligence (AI) solutions to aid in skin disorder diagnosis. Studies showed that incorporating data from multiple modalities in the analysis process significantly improves the AI based model's performance compared to a single modality based analysis for many medical diagnosis tasks. Although deep learning based systems compete on par with expert dermatologists for diagnosing skin cancer, their application is limited in diseases like Lyme disease, where it is difficult to collect training data.In this thesis, we particularly focused on AI assisted Lyme disease analysis because it requires both patient data and lesion images for a proper diagnosis, but there is no available dataset comprising both of these modalities. Self-supervised pre-training is effective to address the data scarcity problem of lesion images when a large number of in-domain images are available. But for some diseases, it's difficult to collect a lot of in-domain images. To tackle this problem we proposed a customized transfer learning approach to improve ImageNet pre-trained convolutional neural network's performance by utilizing additional pre-training with an out-of-domain dataset. To deal with the lack of training data for patient data modality, we proposed an expert opinion elicitation approach to create a model that calculates disease probability from patient data with intuitive model validation based on decision tree and formal concept analysis. The proposed questionnaire based elicitation approach is less demanding for the experts. We also proposed an approach for combining disease probability scores from multiple modalities by ensuring veto power for a modality, based on expert choice.As part of the thesis, we prepared a dataset of Lyme disease related skin lesion images with labeling from expert dermatologists. We also created another skin lesion hair mask annotation dataset for dealing with lesion hair artifacts in an efficient manner. The proposed techniques in this thesis were applied to create a mobile application for assisting with early Lyme disease diagnosis but they will be useful for other similar diseases where there is a problem of data scarcity.