Analyse automatique sans annotation de manuscripts vietnamiens anciens

Annotation-free document analysis for historical Vietnamese manuscripts

• Auteur / Autrice : Anna Scius-Bertrand
• Direction : Marc Bui
• Type : Thèse de doctorat
• Discipline(s) : Informatique et statistiques,et cognition
• Date : Soutenance le 19/10/2022
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : École doctorale de l'École pratique des hautes études (Paris)
• Partenaire(s) de recherche : Laboratoire : Archéologie et philologie d'Orient et d'Occident (Paris ; 1998-....)
• Partenaire(s) de recherche : Établissement de préparation de la thèse : École pratique des hautes études (Paris ; 1868-....)
• Jury : Président / Présidente : Peter A. Stokes
• Jury : Examinateurs / Examinatrices : Marc Bui, Peter A. Stokes, Marie Beurton-Aimar, Josep Llados i Canet, Véronique Eglin, Jean-Marc Ogier
• Jury : Rapporteur / Rapporteuse : Marie Beurton-Aimar, Josep Llados i Canet

Mots clés

Mots clés contrôlés

Reconnaissance optique des caractères

Linguistique -- Informatique

Analyse automatique (linguistique)

Inscriptions

Vietnam

Stèles

Mots clés libres

Auto-Calibration

Transfert de connaissance

Réseau neuronal convolutif profond

Couplage de graphes

Données synthétiques

Ecriture à la main

Self-Calibration

Transfer learning

Deep convolutional neural networks

Graph matching

Synthetic data

Handwriting

Résumé

L'histoire du Vietnam est principalement basée sur des documents écrits par la cour et le clergé, la vie du peuple y est peu présente. Heureusement pour les historiens, des stèles de pierre ont été gravées par les villageois pendant plusieurs siècles. Elles contiennent une grande quantité d'informations sur l'histoire économique, sociale, religieuse et juridique des villages et de leurs habitants. Ces informations sont dispersées sur des dizaines de milliers d'images numériques de ces stèles. L'objectif de cette thèse est de développer des méthodes pour faciliter l'étude de ces stèles par les historiens afin d'extraire automatiquement les différents éléments textuels des images des stèles et identifier les stèles contenant des mots-clés. Au vue de la littérature dans le domaine, l'apprentissage automatique semble être prometteur pour répondre à cet objectif. Une des principale limitation des algorithmes d'apprentissage automatique est le besoin de données annotées pour l'entrainement. Or il existe peu d'images de stèles annotées. C'est pourquoi cette thèse vise à concevoir des méthodes d'analyse de l'écriture manuscrite avec peu ou pas de données annotées. Elles se basent sur une combinaison d'algorithme d'apprentissage automatique et d'algorithme dit classiques. Plusieurs typologie de réseau neuronal convolutif profond ont été étudié tel que le U-Net, les réseaux de détection d'objet ou encore les réseaux antagonistes génératifs (GAN). En complément de ces réseaux, des algorithmes plus classiques ont été utilisés, notamment des algorithmes de segmentation basés sur le seam carving, des algorithmes de clustering non-supervisé et des algorithmes de correspondance des formes à l'aide de représentations basées sur des graphes. Cette thèse compte principalement cinq contributions. La première est l'analyse de mise en page et la segmentation des colonnes avec peu de vérité de terrain. Les contributions suivantes ont été réalisées entièrement sans annotation. Il s'agit de l'alignement de transcription, la détection de caractères, la génération de caractères synthétiques et la recherche de mot-clé. Les expérimentations ont été conduites sur une base de données d'images d'inscription sur stèle et de pages de manuscrits écrits avec le même script. A travers ces travaux, il a été mis en évidence qu'un grand nombre de tâche d'analyse de document appliquée à des manuscrits vietnamiens pouvaient se réaliser sans annotation grâce au transfert de conaissances entre les caractères imprimés et les caractères écrit à la main. Dans de futurs recherches il serait intéressant de voir dans quelle mesure il est possible de transcrire automatiquement les inscriptions sur stèles sans annotation et de tester ces méthodes sur d'autres scripts.

The history of Vietnam is mainly based on documents written by the court and the clergy, the life of the common people is not much present. Fortunately for historians, stone steles have been engraved by villagers for several centuries. They contain a great deal of information about the economic, social, religious and legal history of the villages and their inhabitants. This information is spread over tens of thousands of digital images of these steles.This thesis aims to develop methods to facilitate the study of these steles by historians in order to automatically extract the different textual elements from the images of the steles and to identify the steles containing key words.According to the state of the art, machine learning seems to be promising to achieve this goal. One of the main limitations of machine learning is the need for training using annotated data. However, there are few annotated images of steles. This is why this thesis intends to design handwriting analysis methods with little or no annotation.Those methods are based on a combination of machine learning and classical algorithms. Several types of deep convolutional neural networks have been studied such as U-Net, object detection networks or Generative Adversarial Networks (GAN). In addition to these networks, more classical algorithms have been used, such as segmentation algorithms based on seam carving, unsupervised clustering algorithms and shape matching algorithms using graph-based representations.This thesis has five main contributions. The first is layout analysis and column segmentation with limited amount of ground truth. The following contributions were performed entirely without annotation. These are transcription alignment, character detection, synthetic character generation and keyword spotting. The experiments were performed on a database of images of stele inscriptions and manuscript pages written with the same script.In this thesis, it was shown that a large number of document analysis tasks applied to Vietnamese manuscripts could be performed without annotation thanks to the knowledge transfer between printed and handwritten characters. In future research it would be interesting to investigate if it is possible to automatically transcribe steles inscriptions without annotation and to test the proposed methods on other scripts.