Identification automatique des scripteurs à partir de l'écriture manuscrite par apprentissage machine et analyse d'images

Automatic off-line text-independent writer identification from handwriting

• Auteur / Autrice : Abderrazak Chahi
• Direction : Yassine Ruichek, Raja Touahni
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 08/07/2021
• Etablissement(s) : Bourgogne Franche-Comté en cotutelle avec Université Ibn Tofail. Faculté des sciences de Kénitra
• Ecole(s) doctorale(s) : École doctorale Sciences pour l'ingénieur et microtechniques (Besançon ; 1991-....)
• Partenaire(s) de recherche : Laboratoire : Connaissance et Intelligence Artificielle Distribuées (CIAD) (Dijon) - Connaissance et Intelligence Artificielle Distribuées [Dijon] / CIAD
• Partenaire(s) de recherche : Etablissement de préparation : Université de Franche-Comté (1971-....)
• Jury : Président / Présidente : Mohamed Sbihi
• Jury : Examinateurs / Examinatrices : Yassine Ruichek, Raja Touahni, Mohammed El Hassouni, Denis Hamad, Jean-Christophe Burie
• Jury : Rapporteurs / Rapporteuses : Mohammed El Hassouni, Denis Hamad

Mots clés

Mots clés contrôlés

Traitement d'images

Reconnaissance optique des formes (informatique)

Vérification d'écriture

Mots clés libres

Extraction de caractéristiques

Identification des scripteurs

Apprentissage profond

Réseau neuronal convolutif

Analyse de l'écriture manuscrite

Analyse d'images

Feature extraction

Writer identification

Deep learning

Convolutional neural network

Handwriting analysis

Image analysis

Résumé

L’identification des scripteurs à partir de l’écriture manuscrite constitue un domaine de recherche en pleine expansion. Elle est devenue une thématique de recherche importante avec de nombreux verrous scientifiques/techniques et challenges/potentiels applicatifs, avec un besoin croissant de développement de systèmes biométriques destinés à de nombreuses applications sécuritaires. Les systèmes d'identification automatique des scripteurs (hors ligne) reposent sur des informations statiques. Les représentations numériques se présentent généralement sous la forme d'une image d'écriture manuscrite contenant des motifs récurrents à analyser et à caractériser. L’objectif ici est de développer des approches efficaces et robustes pour l'identification des scripteurs en tirant profit des avancées théoriques et techniques de l'analyse d'images et de l'intelligence artificielle. Cette thèse de doctorat aborde toutes les étapes essentielles d'un processus automatique de l’identification des scripteurs, y comprisla phase de prétraitement, normalisation et segmentation, l’extraction des primitives, et l’étape de classification des scripteurs.Notre première contribution étudie l'identification des scripteurs en fonction des caractéristiques de texture. Nous proposons quatre approches basées sur la texture pour améliorer l’identification des documents de test : (1) le premier système proposé est basé sur la méthode Block Wise Local Binary Count (BWLBC). Il s'agit d'un descripteur d'image local pour caractériser la variabilité du style d'écriture en petits blocs en capturant la distribution des pixels correspondant à l'écriture dans des composantes connexes binaires ; (2) dans la seconde approche, les descripteurs de texture Local Binary Patterns (LBP), Local Ternary Patterns (LTP), and Local Phase Quantization (LPQ) sont appliqués sur des petites régions d'intérêt de l'écriture appelées zones, pour extraire les caractéristiques de texture associées. Les trois descripteurs sont utilisés efficacement dans un nouveau processus d'identification des scripteurs ; (3) la tâche de la caractérisation de l'écriture est améliorée par une approche basée sur le descripteur Cross multi-scale Locally encoded Gradient Patterns (CLGP). La méthode CLGP proposée caractérise les structures locales saillantes des composantes connexes de l'écriture. Elle encode la transformation de texture obtenue à plusieurs échelles en utilisant l'opérateur Histograms of Oriented Gradients (HOG) ; (4) la quatrième approche utilise la méthode LSTP (Local gradient full-scale Transform Patterns) pour calculer des histogrammes locaux de l'orientation du gradient sur des blocs non superposés de l'écriture. Cette caractéristique permet d'obtenir de meilleures performances en capturant des informations plus pertinentes sur la variabilité du style d'écriture. Les réseaux de neurones convolutifs (CNN) sont également étudiés pour améliorer l'identification des scripteurs. Deux approches efficaces basées sur les CNNs, appelées DeepWINet et WriterINet, sont proposées. Des expériences approfondies sont menées sur 10 bases de données manuscrites dans différentes langues (Anglais, Arabe, Français, Allemand, Chinois, Néerlandais, Grec et hybride). Toutes les approches proposées atteignent des performances compétitives ou supérieures à celles de la littérature pour les benchmarks étudiés. Nous avons également participé au concours ICFHR2020 pour récompenser la meilleure approche de « la récupération des fragments manuscrits historiques sur la base de l'identification des scripteurs ». Nous avons proposé une approche basée sur l'apprentissage profond en utilisant des multi-flux CNN entrainés avec différentes données d'entrée. L'approche globale a obtenu d'excellents résultats et a remporté la première place dans l'une des deux catégories de la compétition.

Handwriting-based writer identification has experienced a resurgence in recent years and continues to attract a great deal of interest and attention in the field of biometrics and pattern recognition. It is a challenging task considering the large within-writer and between-writer style variability. The automatic offline writer identification systems consider handwriting as scanned image containing certain recurring patterns that need to be analyzed. The motivation for this work stems from the need to improve behavioral biometric tasks that have been mainly used for writer identification to enhance security and forensic applications in today's world. The interest is to develop near real-time, effective, and robust approaches for writer identification by leveraging theoretical and technical advances in image analysis and artificial intelligence. This dissertation contributes to the numerous challenges encountered in all the main steps of an automatic system for offline writer identification, including image pre-processing and segmentation, feature extraction, and classification methods.Our first contribution investigates writer identification based on texture features. We propose four texture-based approaches to improve the task of writer identification: (1) The first approach, namely the Block Wise Local Binary Count (BWLBC)-based system, characterizes the variability of writing style within small blocks by capturing the pixels' distribution corresponding to writing ink in binary components ; (2) In the second approach, the Local Binary Patterns (LBP), Local Ternary Patterns (LTP), and Local Phase Quantization (LPQ) hand-crafted descriptors are applied to small regions of interest in the writing, called zones, to extract related texture features. They are performed in an efficient way using a new learning framework ; (3) The task of writer identification is improved thanks to a well-defined approach based on the Cross multi-scale Locally encoded Gradient Patterns (CLGP) descriptor to better represent salient local writing structures. It extracts transform features from connected components and encodes the obtained texture codes in multiple scales over the Histograms of Oriented Gradients (HOG) ; (4) The fourth approach computes local intensity gradients of the writing within non-overlapping blocks using the Local gradient full- Scale Transform Patterns (LSTP) method. This feature gives the overall system the ability to extract more relevant information to characterize the writing better. Convolutional Neural Networks (CNN) are also investigated to further improve the identification performance. Two computationally efficient and high-quality deep CNN-based approaches named DeepWINet and WriterINet are proposed. Extensive experiments are conducted on ten challenging handwritten benchmarks in different languages (English, Arabic, French, German, Chinese, Dutch, Greek, and hybrid). All the proposed approaches achieve competitive, or the highest SOTA performance in the benchmarks studied. We also participated in the ICFHR2020 competition to award the best approach for image retrieval for historical handwritten fragments. We proposed an effective deep learning-based approach based on multi-path CNN streams trained with different input data. The overall approach achieved excellent results and won first place in one of two tracks of the contest.