au-delà de l'analyse systématique automatique de la littérature (ASLR) à l'aide du traitement du langage naturel (NLP) basé sur les grands modèles de langage (LLM)

Beyond Automatic Systematic Literature Review (ASLR) Using Natural Language Processing (NLP) Based on Large Language Models (LLM)

• Auteur / Autrice : Xue He
• Direction : Jean-Daniel Zucker
• Type : Projet de thèse
• Discipline(s) : Sciences et technologies de l'information et de la communication
• Date : Inscription en doctorat le 31/08/2024
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris
• Partenaire(s) de recherche : Laboratoire : Unité de Modélisation Mathématique et Informatique des Systèmes Complexes

Mots clés

Mots clés libres

Analyse systématique de la littérature

Traitement du langage naturel

Grands modèles de langage

Revue automatique de la littérature

Apprentissage profond

Modèles pré-entraînés

Systematic Literature Review

Natural Language Processing

Large Language Models

Automatic Literature Review

Deep Learning

Pre-trained Models

Résumé

La revue systématique est un processus crucial en médecine fondée sur les preuves et en recherche scientifique, où une recherche exhaustive et impartiale est menée pour identifier et évaluer toute la littérature pertinente sur un sujet spécifique. Cependant, ce processus est long et demande beaucoup de ressources, surtout pour les revues de littérature à grande échelle qui impliquent un nombre de publications en constante augmentation. Ces dernières années, les techniques de traitement du langage naturel (NLP) ont montré des résultats prometteurs pour automatiser certains aspects du processus de revue systématique, tels que le filtrage de la littérature et l'extraction de connaissances. Cependant, elles sont limitées dans leur capacité à capturer et analyser des informations contextuelles complexes et des relations hautement intriquées entre les concepts biologiques. Récemment, les grands modèles de langage tels que GPT-4, LLAMA2, etc., ont obtenu des résultats remarquables. Les LLM peuvent représenter les articles avec une représentation plus robuste et contextuellement complexe, ce qui pourrait être utilisé pour automatiser complètement les revues systématiques et développer des approches au-delà de l'ASR. Des articles de PMC (PubMed Central) (plus de 30 millions d'articles) ont été téléchargés sur des machines locales. L'annotation des ensembles de données à des fins d'extraction et de classification variées peut également être réalisée via l'ingénierie de prompts des résultats des LLM. Une pipeline d'ASLR (revue systématique automatisée de la littérature) a été développée à l'IRD/UMMISCO dans le cadre de la génération de preuves pour des règles de signature bactérienne afin de détecter la cirrhose hépatique saine et malsaine dans le microbiome humain. Ces règles ont été construites en utilisant différents algorithmes d'apprentissage automatique à partir d'une abondance d'espèces bactériennes, comme proposé par Prifti et al. (2019). Le pipeline se concentre sur le filtrage des articles selon différents critères d'inclusion, puis sur l'extraction de bio-concepts tels que les produits chimiques, les maladies, les gènes et les espèces. En outre, les relations entre ces entités ont été identifiées comme positives, négatives ou neutres. Ces entités et leurs relations sont ensuite utilisées pour construire un graphe de connaissances qui fournit des preuves pour un ensemble de règles de signature bactérienne. Cependant, des recherches et des investigations rigoureuses supplémentaires sont nécessaires pour construire un ASLR général, robuste et inclusif utilisant les LLM pour des applications dans différents domaines spécifiques de la biomédecine.

Systematic review is a crucial process in evidence-based medicine and scientific research, where a comprehensive and unbiased search is conducted to identify and evaluate all relevant literature on a specific topic. However, this process is time-consuming and resource-intensive, especially for large-scale literature reviews that involve an ever-increasing number of publications. In recent years, Natural Language Processing (NLP) techniques have shown promising results in automating some aspects of the systematic review process, such as literature screening and knowledge extraction. However, they are limited in their ability to capture and analyze complex contextual information and highly intertwined relationships between bio-concepts. Recently, large language models such as GPT-4, LLAMA2, etc., have achieved remarkable results. LLMs can represent articles with a more robust and contextually complex representation, which might be used to fully automate systematic reviews and develop approaches beyond ASR. PMC (PubMed Central) articles (over 30 million articles) have been downloaded onto local machines. Annotation of datasets for various extraction and classification purposes can also be accomplished via prompt engineering of results from LLMs. An ASLR (Automated Systematic Literature Review) pipeline has been developed at IRD/UMMISCO in the context of generating evidence for bacterial signature rules for detecting healthy and unhealthy liver cirrhosis in the human microbiome. These rules were constructed using different machine learning algorithms from an abundance of bacterial species, as proposed by Prifti et al. (2019). The pipeline focuses on screening articles according to different inclusion criteria, then extracting bio-concepts such as chemicals, diseases, genes, and species. Furthermore, relationships between these entities have been identified as positive, negative, or neutral. These entities and their relationships are then used to build a knowledge graph that provides evidence for a set of bacterial signature rules. However, more research and rigorous investigation are necessary to build a general, robust, and inclusive ASLR using LLMs for applications in different specific domains of biomedicine.