Compréhensibilité de contenus audiovisuels : quelles approches pour une mesure objective ?

Audivisual contents comprehensibility : what approaches for an objective measure?

• Auteur / Autrice : Estelle Randria
• Direction : Julien Pinquier, Isabelle Ferrané, Lionel Fontan
• Type : Thèse de doctorat
• Discipline(s) : Informatique et Télécommunications
• Date : Soutenance le 17/10/2022
• Etablissement(s) : Toulouse 3
• Ecole(s) doctorale(s) : École doctorale Mathématiques, informatique et télécommunications (Toulouse)
• Partenaire(s) de recherche : Laboratoire : Institut de Recherche en Informatique de Toulouse (1995-....)
• Jury : Examinateurs / Examinatrices : Julien Pinquier, Isabelle Ferrané, Lionel Fontan, Sylvain Detey
• Jury : Rapporteurs / Rapporteuses : Martine Adda-Decker, Freiderikos Valetopoulos

Mots clés

Mots clés contrôlés

Traitement automatique du langage naturel

Documents audiovisuels

Langues -- Étude et enseignement

Mots clés libres

Traitement automatique audio-vidéo-texte

Informatique

Fusion

,Didactique des langues étrangères

Fusion

Computer sciences

Automatic audio video and text processing

Foreign Languages Didactic

Résumé

L’enseignement des langues étrangères nécessite souvent l’utilisation de documents audiovisuels, cependant les tâches de sélection et de didactisation de ces documents peuvent s’avérer lourdes et de ce fait restreindre le nombre de documents exploités par les professeurs de langues étrangères. Cette thèse est une collaboration entre la société Archean Labs et l’Institut de Recherche Informatique de Toulouse (IRIT). L’objectif est de permettre aux professeurs de Français Langue Etrangère (FLE) de cibler des documents pour lesquels un niveau de compréhensibilité a été préétabli automatiquement. Cette thèse porte sur la recherche d’une mesure objective du niveau de compréhensibilité de contenus audiovisuels. Dans un premier temps, nous nous intéressons aux phénomènes reconnus comme influençant la compréhensibilité d'un document. Pour cela nous avons considéré deux points de vue complémentaires : celui de la didactique des langues étrangères et celui du traitement automatique. Nous avons constaté qu’il n’existait pas de ressources qui permettraient d’étudier la compréhensibilité de contenu audiovisuel et de définir une mesure permettant une évaluation du niveau associé. Nous avons constitué un corpus qui rassemble un ensemble d’extraits issus de documents de fiction, décomposés pour une analyse fine en modalité (image, audio et texte). Soumis à un ensemble d’experts, notre corpus ESCAL (Évaluation Subjective de la Compréhensibilité pour l’Apprentissage des Langues) s’accompagne d’annotations qui ont été réalisées manuellement à différents niveaux (lexical, syntaxique, acoustique) avec un focus sur le niveau de compréhensibilité. Il a ainsi permis d’étudier et de comparer différentes approches pour la prédiction d’une mesure objective du niveau de compréhensibilité de contenus audiovisuels. La première est dite interprétable : nous cherchons à expliciter les facteurs qui sont entrés en jeu dans la prédiction. Dans cette approche, les modèles sont construits à partir de paramètres qui sont extraits directement du signal audio, vidéo et de la transcription exacte du document. La seconde approche est désignée comme neuronale : nous alimentons des modèles de régression avec des représentations issues de réseaux de neurones profonds pré-entraînés sur chaque modalité (audio, vidéo et texte). La corrélation entre la vérité terrain et les scores prédits montre que l’approche interprétable permet d’obtenir le meilleur modèle de prédiction du niveau de compréhensibilité.A des fins de portabilité, notre système a été validé sur un nouveau jeu de données. Concernant le niveau de compréhensibilité, les résultats automatiques obtenus sont cohérents avec les annotations manuelles réalisées par des experts. Les travaux présentés dans ce manuscrit vont permettre de poser les bases d’une application destinée aux enseignants de langues étrangères : elle aura pour objectif d’aider à la didactisation de contenus audiovisuels.

The teaching of foreign languages often requires the use of audiovisual documents, however the tasks of selecting and didactising these documents can be cumbersome and thus limit the number of documents exploited by foreign language teachers. This thesis is a collaboration between Archean Labs and the Institut de Recherche Informatique de Toulouse (IRIT). The objective is to allow teachers of French as a Foreign Language (FLE) to target documents for which a level of comprehensibility has been automatically pre-established. This thesis deals with the research of an objective measure of the comprehensibility level of audiovisual contents. Firstly, we are interested in the phenomena that are known to influence the comprehensibility of a document. For this purpose, we have considered two complementary points of view: that of foreign language didactics and that of automatic processing. We found that there were no resources that would allow us to study the comprehensibility of audiovisual content and to define a measure that would allow an evaluation of the associated level. We have built a corpus which gathers a set of extracts from fiction documents, broken down for a fine analysis in modality (image, audio and text). Submitted to a set of experts, our ESCAL corpus (Subjective Evaluation of Comprehensibility for Language Learning) is accompanied by annotations that were manually performed at different levels (lexical, syntactic, acoustic) with a focus on the comprehensibility level. It has thus been possible to study and compare different approaches for predicting an objective measure of the comprehensibility level of audiovisual content. The first approach is the so-called interpretable approach: we seek to make explicit the factors involved in the prediction. In this approach, the models are built from parameters that are extracted directly from the audio, video signal and the exact transcription of the document. The second approach is referred to as neural: we feed regression models with representations from deep neural networks pre-trained on each modality (audio, video and text). The correlation between ground truth and predicted scores shows that the interpretable approach provides the best model for predicting comprehensibility level.For portability purposes, our system was validated on a new dataset. Regarding the comprehensibility level, the automatic results obtained are consistent with the manual annotations performed by experts. The work presented in this manuscript will allow us to lay the foundations of an application intended for foreign language teachers: its objective will be to assist in the didactisation of audiovisual content.