Modèles neuronaux profonds augmentés avec des connaissances expertes : Application au domaine de la santé

Expert knowledge-augmented neural models: Application in the healthcare domain

• Auteur / Autrice : Jaafer Klila
• Direction : Nasredine Semmar, Lamia Belguith hadrich
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 01/09/2024
• Etablissement(s) : université Paris-Saclay en cotutelle avec Faculté des Sciences Economiques et de Gestion de Sfax
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication
• Partenaire(s) de recherche : Laboratoire : CEA /LIST - Laboratoire d'intégration de systèmes et de technologies
• Partenaire(s) de recherche : Référent : Faculté des sciences d'Orsay

Mots clés

Mots clés libres

Apprentissage par renforcement

Traitement Automatique des Langues

Apprentissage profond

Intelligence artificielle dans le domaine de la santé

Explicabilité

Connaissances expertes

Natural Language Processing

Artificial intelligence in healthcare

Deep learning

Reinforcement learning

Expert knowledge

Explainability

Résumé

L'objectif de cette thèse consiste, d'une part, à proposer un formalisme universel pour représenter des connaissances expertes hétérogènes, et d'autre part, à explorer de nouvelles approches pour intégrer ces connaissances expertes dans des modèles neuronaux profonds en vue d'améliorer leur performance pour les domaines peu dotés en données d'apprentissage. L'idée sous-jacente est que l'ajout de connaissances expertes fiables (car ces connaissances sont généralement construites par des experts), même si elles sont de taille modeste peuvent améliorer la prédiction des modèles neuronaux profonds actuels et de les rendre plus explicables. Nous proposons d'aborder cette thèse selon les axes suivants, dans le prolongement des travaux déjà réalisés au laboratoire CEA List LASTI: - Définir un formalisme universel de représentation des connaissances expertes de nature variées. Une représentation basée sur les graphes de connaissances sera étudiée et analysée en raison de son efficacité à représenter des informations structurées. - Combiner les données d'apprentissage d'une tâche donnée avec celles d'une autre tâche pour améliorer la prédiction du modèle neuronal sachant que ces données d'apprentissage sont de nature variées. Cette thèse propose d'aborder cette problématique pour plusieurs tâches du TAL (reconnaissance d'entités nommées, désambiguïsation d'entités nommées, extraction de relations, extraction d'évènements, etc.) et sur des domaines pour lesquels nous avons suffisamment de ressources comme les bases de connaissances et les lexiques spécialisés. Nous nous focaliserons sur les domaines du médical et du biomédical qui présentent de nombreux avantages notamment la disponibilité d'experts ayant produit une quantité non négligeable de ressources externes structurées et fiables, dont des bases de données terminologiques, thésaurus, graphes de connaissances et ontologies. - Permettre aux vecteurs d'entrée des modèles neuronaux profonds de combiner à la fois des représentations distribuées et des représentations symboliques ou sous forme de graphes pour les connaissances expertes externes. Cette combinaison contribuera à l'amélioration de l'explicabilité de ces modèles hybrides. - Améliorer l'intégration des connaissances expertes externes dans les plongements lexicaux contextualisés pré-entrainés en analysant les résultats de nos travaux actuels et en les poursuivant. En outre, nous explorerons d'autres approches d'intégration des connaissances expertes. - Permettre aux experts d'interagir lors de l'étape d'apprentissage des modèles neuronaux. Cette interaction sera modélisée et optimisée dans une perspective d'apprentissage par renforcement. Les experts participeront à l'annotation de données selon un schéma d'un apprentissage actif.

This thesis falls within the scope of incorporating expert knowledge in Deep Neural Networks (DNNs) in order to improve their performance and their explainability. The proposed subject aims to explore and experiment new approaches for incorporating expert knowledge in deep neural networks. We propose to tackle this issue along the following key aspects, as an extension of the research work already carried out at CEA List LASTI laboratory: - Taking into account heterogeneous expert knowledge: Ontologies, Terminology databases, Lexicons, etc. - Implementing a formalism to describe expert knowledge in a multi-level representation. The objective is to define a structure in which the different types of expert knowledge will be represented separately but the whole representation would be described in the same format (model). - Exploring new strategies for incorporating expert knowledge in deep neural networks. The underlying idea is to propose an integration mechanism which can be adapted to each expert knowledge. - Evaluating the expert knowledge-augmented neural models on different NLP tasks such as Named entity recognition, Relation extraction, Entity linking, Event extraction as soon as Question/Answer systems.