Extraction automatique d'arguments par le biais de grands modèles de langage adaptés

Argument Mining with Customized and Feature-lnjected Large Language Models

• Auteur / Autrice : Umer Mushtaq
• Direction : Jérémie Cabessa
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 10/11/2023
• Etablissement(s) : Université Paris-Panthéon-Assas
• Ecole(s) doctorale(s) : École doctorale des sciences économiques et gestion, sciences de l'information et de la communication (Paris)
• Jury : Examinateurs / Examinatrices : Farah Benamara, Elena Cabrio, Florence Dupin de Saint Cyr-Bannay, Maria Rifqi
• Jury : Rapporteurs / Rapporteuses : Farah Benamara, Elena Cabrio

Mots clés

Mots clés contrôlés

Transfert d'apprentissage (enseignement des langues)

Traitement automatique du langage naturel

Apprentissage automatique

Mots clés libres

Intelligence artificielle

Apprentissage automatique

Traitement automatique du langage

Extraction automatique d'arguments

Classification de texte

Grands modéles de langage

Apprentissage par transfert

BERT

Features as Text (FeaTxt)

Prompt ingénierie

Artificial lntelligence

Machine Learning

Natural Language Processing

Argument Mining

Text Classification

Large Language Models

Transfer Learning

BERT

Features as Text (FeaTxt)

Prompt Engineering

Résumé

Le traitement automatique du langage naturel (NLP) est un champ de l'intelligence artificielle d'une importance majeure. Dans ce domaine les transformeurs et les modèles de langage de grandes tailles (LLMs) subséquents ont représenté un changement de paradigme significatif. Dans le cadre du NLP, l'extraction d'arguments (AM) se concentre sur la détection automatique d'arguments structurés et de leurs relations au sein d'un corpus textuel. L'extraction d'arguments possède de multiples applications, telles que l'analyse de texte juridiques ou d'articles scientifiques. Ce travail de thèse concerne l'extraction d'arguments (AM) et les modèles de langage de grande taille (LLMs). Notre première contribution concerne la classification d'arguments. Nous proposons un modèle unifié de type BERT enrichi de caractéristiques contextuelle structurelles et syntaxiques additionnelles, données sous forme de texte. Notre deuxième contribution concerne également la classification d'arguments ainsi que l'identification des liens entre ces derniers. Cette fois, nous proposons BERT--MINUS, un modèle composé d plusieurs sous-modules de type BERT, capable d'intégrer des caractéristiques additionnelles sous forme de texte ainsi que d'accomplir du transfert d'apprentissage. Notre troisième contribution se situe à la jonction des systèmes argumentatifs et de la théorie de la décision. Dans ce contexte, nous définissons un formalisme appelé ''Bipolar Layered Framework with Support and Weights'' (BLFSW), qui offre un modélisation des structures argumentatives sous forme de graphes. L'expressivité étendue de ce formalisme permet à la fois d'affiner l'évaluation des processus décisionnelles.

Natural Language Processing (NLP) is a field of artificial intelligence of major importance. ln this domain, Transformers and Large Languag Models (LLMs) represent a significant paradigm shift. By enabling parallel processing and capturing long-range dependencies, LLMs have achieved state-of-the-art results in NLP tasks. Argument Mining (AM) focuses on the automatic detection of structured arguments and the relationships within a textual corpus. Argument Mining has multiple applications, such as the analysis of legal texts or scientific articles. This PhD thesis focuses on Argument Mining (AM) and Large Language Models (LLMs). Our first contribution concerns argument classification. We propose a unified BERT model enriched with additional contextual. structural, and syntactical features provided -in textual form -instead of the usual numerical form. Our second contribution focuses on argument classification and argument relation identification tasks. ln this context, we propose BERT-MINUS. a model composed of multiple BERT sub-modules capable of integrating additional text-based features as well as enabling transfer learning between the two tasks. Our third contribution lies at the intersection of argumentative systems and decision theory. Here, we define a framework called ''Bipolar Layered Framework with Support and Weights'' (BLFSW), which provides a graph-based modeling for argumentation-based decisions. The extended expressiveness of this formalism allows for a refine evaluation of decision-making processes.