Transfert sémantique cross-langue pour les langues et domaines à faibles ressources

Cross-language semantic transfer for low-resource languages and domains

• Auteur / Autrice : Olena Yurchenko
• Direction : Natalia Grabar
• Type : Projet de thèse
• Discipline(s) : Sciences du langage : linguistique et phonétique générales
• Date : Inscription en doctorat le 06/11/2023
• Etablissement(s) : Université de Lille (2022-....)
• Ecole(s) doctorale(s) : École doctorale Sciences de l'homme et de la société
• Partenaire(s) de recherche : Laboratoire : Savoirs, Textes, langages

Mots clés

Mots clés libres

Analyse sémantique de textes

Modélisation thématique

Sémilatité sémantique

Représentation vectorielle contextualisée de textes

Analyse lexicale

Linguistique informatique

Semantic text analysis

Topic modelling

Semantic similarity

Contextualised vector representation of texts

Lexical analysis

Computer linguistics

Résumé

Cette thèse s'inscrit dans le domaine du traitement automatique du langage naturel (TALN) et porte sur l'étude des mécanismes de représentation et de transfert du sens entre des unités linguistiques de longueurs différentes, telles que les phrases et les textes. L'objectif principal est de développer un modèle de transfert sémantique capable de préserver l'information sémantique dans des contextes à ressources limitées, afin de faciliter la communication multilingue, l'intégration professionnelle et l'apprentissage des langues. La recherche repose sur l'hypothèse que le transfert du sens d'une phrase vers un texte s'effectue principalement par le déploiement des champs lexico-sémantiques des concepts et par leurs variations contextuelles. Nous supposons également que le sens peut être représenté sous forme vectorielle à différents niveaux linguistiques, du sème au texte, et que ces représentations permettent de comparer des unités linguistiques de tailles différentes. Les principales questions scientifiques concernent l'identification des unités linguistiques pertinentes pour l'analyse sémantique, la mesure de la similarité entre contextes de longueurs différentes, le choix des métriques sémantiques appropriées et l'extraction de représentations neuronales du sens à partir des grands modèles de langage. Une attention particulière est accordée au rôle des niveaux lexical, syntaxique, pragmatique et discursif dans le transfert interlinguistique du sens. L'étude s'appuie sur le corpus EFCAMDAT, composé de productions écrites d'apprenants d'anglais langue étrangère réparties selon les niveaux du CECR (A1–C2). Après filtrage, nettoyage et lemmatisation, le corpus analysé comprend 1 169 298 textes. Les méthodes employées combinent l'analyse thématique (BERTopic, KeyBERT), les mesures de diversité lexicale (MTLD), la similarité de Jaccard, le clustering fondé sur all-MiniLM-L6-v2 et HDBSCAN, ainsi que la classification par DistilBERT. Les représentations vectorielles extraites du token [CLS] sont utilisées pour modéliser le contenu sémantique global des textes. Les résultats montrent que la composition lexicale des réponses dépend davantage de la formulation des consignes que du niveau de compétence linguistique. Le clustering produit un taux de bruit inférieur à celui de l'analyse thématique et fournit une meilleure structuration des réponses. Parmi les méthodes évaluées, la classification obtient les meilleures performances grâce à l'apprentissage préalable sur les données du corpus. L'analyse des représentations vectorielles confirme que les embeddings contextuels issus des modèles de type BERT constituent une représentation pertinente du sens et permettent d'identifier les variations sémantiques entre les textes. Ces travaux démontrent les limites des approches fondées uniquement sur le lexique et soulignent l'intérêt des représentations contextuelles pour l'étude du transfert sémantique. Les recherches futures porteront sur l'analyse des cas présentant des divergences sémantiques importantes et sur l'amélioration des métriques de proximité sémantique applicables aux grands modèles de langage.

This thesis falls within the field of natural language processing (NLP) and focuses on the study of mechanisms for representing and transferring meaning between linguistic units of varying lengths, such as sentences and texts. The main objective is to develop a semantic transfer model capable of preserving semantic information in resource-constrained contexts, in order to facilitate multilingual communication, professional integration and language learning. The research is based on the hypothesis that the transfer of meaning from a sentence to a text occurs primarily through the deployment of the lexico-semantic fields of concepts and their contextual variations. We also assume that meaning can be represented in vector form at different linguistic levels, from the seme to the text, and that these representations allow for the comparison of linguistic units of different sizes. The main research questions concern the identification of linguistic units relevant to semantic analysis, the measurement of similarity between contexts of different lengths, the choice of appropriate semantic metrics, and the extraction of neural representations of meaning from large language models. Particular attention is paid to the role of the lexical, syntactic, pragmatic and discursive levels in the interlinguistic transfer of meaning. The study draws on the EFCAMDAT corpus, comprising written texts by learners of English as a foreign language categorised according to CEFR levels (A1–C2). Following filtering, cleaning and lemmatisation, the analysed corpus comprises 1,169,298 texts. The methods employed combine topic analysis (BERTopic, KeyBERT), lexical diversity measures (MTLD), Jaccard similarity, clustering based on all-MiniLM-L6-v2 and HDBSCAN, as well as classification using DistilBERT. Vector representations extracted from the [CLS] token are used to model the overall semantic content of the texts. The results show that the lexical composition of the responses depends more on the wording of the instructions than on the level of linguistic proficiency. Clustering produces a lower noise rate than thematic analysis and provides a better structure for the responses. Among the methods evaluated, classification achieves the best performance thanks to pre-training on corpus data. Analysis of the vector representations confirms that contextual embeddings derived from BERT-type models constitute a relevant representation of meaning and enable the identification of semantic variations between texts. This work demonstrates the limitations of approaches based solely on the lexicon and highlights the value of contextual representations for the study of semantic transfer. Future research will focus on analysing cases involving significant semantic divergences and on improving semantic-proximity metrics for large language models.