Transcription automatique très précise de documents manuscrits structurés : approches robustes et interprétables

Highly accurate automatic transcription of structured handwritten records: robust and interpretable approaches

• Auteur / Autrice : Natalia Bottaioli gonzález
• Direction : Gabriele Facciolo
• Type : Projet de thèse
• Discipline(s) : Mathématiques aux interfaces
• Date : Inscription en doctorat le 01/10/2024
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale de mathématiques Hadamard
• Partenaire(s) de recherche : Laboratoire : Centre Borelli
• Partenaire(s) de recherche : Equipe de recherche : Traitement des images et du signal
• Partenaire(s) de recherche : Référent : Ecole Normale Supérieure Paris-Saclay

Mots clés

Mots clés libres

Reconnaissance automatic de text manuscrit

Extraction automatique d'information

Transcription d'actes de naissance

Handwritten text recognition

Automatic information extraction

Birth certificates transcription

Résumé

La préservation du patrimoine culturel est une préoccupation mondiale, et l'UNESCO a lancé des politiques de numérisation des documents historiques afin de réduire le risque de dégradation. Cette tendance à la numérisation s'étend aux registres de population, rendant des données précieuses accessibles aux généalogistes, aux historiens et aux chercheurs. De nombreux gouvernements d'Amérique latine et des Caraïbes numérisent leurs archives d'état civil et établissent des index en transcrivant certains des champs clés des documents. Il en résulte de grandes bases de données d'images de textes manuscrits partiellement transcrits. L'objectif principal de ce projet est d'exploiter ces données pour développer des outils de transcription complète et exacte de documents officiels manuscrits structurés, tels que les registres de naissances et de décès. L'approche proposée comprend l'utilisation de techniques de reconnaissance de texte manuscrit (handwritten text recognition, HTR) pour reconnaître l'auteur du document et transcrire le texte avec précision, dans le but d'assurer l'exactitude à travers différents formats de documents dans une même langue. Le processus d'HTR relève de la reconnaissance automatique de texte (automatic text recognition, ATR) et se concentre sur la reconstitution de la structure de document ainsi que la conversion d'image en texte. Les méthodes traditionnelles, qui consistent en des heuristiques de segmentation, d'extraction de caractéristiques et de classification, ont atteint un plafond en précision. Récemment, l'apprentissage profond a révolutionné le domaine, en particulier par les modèles basés sur l'attention. Cependant, les réseaux neuronaux profonds à haute performance nécessitent de grandes bases de données annotées et manquent en interprétabilité, ce qui entrave les efforts visant à améliorer leur précision. Le projet aborde ces questions en traitant conjointement un ensemble de documents similaires, grâce à des techniques de traitement d'images et en exploitant les similarités de structure (par exemple, les registres d'état civil d'un certain type) ou de style d'écriture (par exemple, les registres d'état civil créés par le même fonctionnaire), pour construire une chaîne d'apprentissage profond interprétable et capable d'exploiter les bases de données disponibles de registres d'état civil partiellement annotés. La méthode proposée commence par le prétraitement des données afin de les débruiter et de réduire leur variabilité par les normalisations géométrique et dynamique de l'image. Ensuite, des réseaux neuronaux légers sont entraînés sur un ensemble d'apprentissage réduit par les méthodes développées à l'étape précédente. Pour chaque document, une première interprétation partielle est obtenue par ces réseaux neuronaux légers. Par la suite, l'analyse d'image classique est introduite dans une 'boucle vertueuse' sur chaque résultat fiable afin de créer un modèle de l'écriture manuscrite de chaque auteur à partir de l'interprétation partielle obtenue précédemment, pour atteindre un modèle bayésien précis de chaque caractère. Enfin, il sera obtenu une version de chaque document où tous les endroits nécessitant une vérification manuelle sont identifiés par leur probabilité d'erreur calculée par la méthode bayésienne. En résumé, ce projet vise à créer des outils de transcription exacte pour les documents manuscrits structurés. Il s'aligne sur les efforts mondiaux visant à préserver le patrimoine culturel, en mettant des données précieuses à disponibilité des chercheurs. L'approche proposée s'appuie sur des techniques d'apprentissage profond dans le domaine de l'ATR et combine le traitement d'image, le prétraitement des données et les méthodes bayésiennes pour des transcriptions précises.

Preserving cultural heritage is a global concern, with UNESCO initiating policies for digitising historical documents to reduce the risk of degradation. This digitisation trend extends to population registries, making valuable data accessible to genealogists, historians, and researchers. Many Latin American and Caribbean governments are digitising their civil registries archives, and building indexes by transcribing some of the key fields in the documents. This results in having large databases of partially transcribed handwritten text images. This project's main objective is to exploit this wealth of data to develop accurate tools for fully transcribing structured handwritten official documents such as birth and death registries. The proposed approach includes using Handwritten Text Recognition (HTR) techniques to recognize the document's author and transcribe the text accurately, aiming to ensure accuracy across various document formats within one same language. The HTR process falls under Automatic Text Recognition (ATR), focusing on document structure reconstruction and image-to-text conversion. Traditional methods, which involved rule-based segmentation, feature extraction, and classification, hit an accuracy ceiling. Recently, deep learning has revolutionised the field with attention-based models in particular. However, high-performance deep neural networks require large annotated databases and lack explainability, hindering efforts to further improve their accuracy. The project addresses these issues by jointly processing a set of similar documents, using image processing techniques and exploiting commonality in structure (e.g. civil registry records of a certain type) or handwriting style (e.g. civil registry records created by the same public servant), to build an interpretable deep-learning pipeline which is able to leverage the available partially annotated civil registry databases. The proposed pipeline starts with preprocessing data so as to denoise it and reduce its variability by geometric normalisation and normalisation of the image dynamic. After that, lightweight neural networks are trained on a learning set reduced by the methods developed in the previous step. For each document, a first partial interpretation will be obtained by such lightweight neural networks. Subsequently, classic image analysis will be introduced in a 'virtuous loop' on each confident output to create a model of each handwriter from the partial interpretation obtained before, to reach an accurate Bayesian model of each character. Finally, an accountable version of each document where all places requiring manual verification are identified through their probability of error computed by the Bayesian method will be obtained. In summary, this project aims to create accurate transcription tools for structured handwritten documents. It aligns with global efforts to preserve cultural heritage, making valuable data accessible to researchers. The proposed approach leverages deep learning techniques in the field of ATR and combines image processing, data preprocessing, and Bayesian methods for accurate transcriptions.