Reconnaissance de textes manuscrits par modèles de Markov cachés et réseaux de neurones récurrents : application à l'écriture latine et arabe

Handwritten text recognition with Hidden Markov Models and recurrent neural networks : application to Latin and Arabic handwritings

• Auteur / Autrice : Olivier Morillot
• Direction : Laurence Likforman-Sulem
• Type : Thèse de doctorat
• Discipline(s) : Signal et images
• Date : Soutenance le 23/01/2014
• Etablissement(s) : Paris, ENST
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris (1992-...)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Traitement et communication de l'information (Paris ; 2003-....)
• Jury : Président / Présidente : Nicole Vincent
• Jury : Examinateurs / Examinatrices : Laurence Likforman-Sulem, Nicole Vincent, Josep Llados i Canet, Christian Viard-Gaudin, Emmanuèle Grosicki, Christopher Kermorvant
• Jury : Rapporteur / Rapporteuse : Josep Llados i Canet, Christian Viard-Gaudin

Mots clés

Mots clés contrôlés

Reconnaissance des formes (informatique)

Mots clés libres

Reconnaissance d’écriture manuscrite

Hors-ligne

Lignes de texte

Français

Arabe

Preprocessing

Correction de la ligne de base

Modèles de Markov cachés

Réseaux de neurones récurrents BLSTM

Modèle de langage

Handwriting recognition

Offline

Text lines

French

Arabic

Prétraitement

Baseline correction

Hidden Markov models, HMM

Recurrent neural networks BLSTM

Language model

Résumé

La reconnaissance d’écriture manuscrite est une composante essentielle de l’analyse de document. Une tendance actuelle de ce domaine est de passer de la reconnaissance de mots isolés à celle d’une séquence de mots. Notre travail consiste donc à proposer un système de reconnaissance de lignes de texte sans segmentation explicite de la ligne en mots. Afin de construire un modèle performant, nous intervenons à plusieurs niveaux du système de reconnaissance. Tout d’abord, nous introduisons deux méthodes de prétraitement originales : un nettoyage des images de lignes de texte et une correction locale de la ligne de base. Ensuite, nous construisons un modèle de langage optimisé pour la reconnaissance de courriers manuscrits. Puis nous proposons deux systèmes de reconnaissance à l’état de l’art fondés sur les HMM (Hidden Markov Models) contextuels et les réseaux de neurones récurrents BLSTM (Bi-directional LongShort-Term Memory). Nous optimisons nos systèmes afin de proposer une comparaison de ces deux approches. Nos systèmes sont évalués sur l’écriture cursive latine et arabe et ont été soumis à deux compétitions internationales de reconnaissance d’écriture. Enfin, enperspective de notre travail, nous présentons une stratégie de reconnaissance pour certaines chaînes de caractères hors-vocabulaire.

Handwriting recognition is an essential component of document analysis. One of the popular trends is to go from isolated word to word sequence recognition. Our work aims to propose a text-line recognition system without explicit word segmentation. In order to build an efficient model, we intervene at different levels of the recognition system. First of all, we introduce two new preprocessing techniques : a cleaning and a local baseline correction for text-lines. Then, a language model is built and optimized for handwritten mails. Afterwards, we propose two state-of-the-art recognition systems based on contextual HMMs (Hidden Markov Models) and recurrent neural networks BLSTM (Bi-directional Long Short-Term Memory). We optimize our systems in order to give a comparison of those two approaches. Our systems are evaluated on arabic and latin cursive handwritings and have been submitted to two international handwriting recognition competitions. At last, we introduce a strategy for some out-of-vocabulary character strings recognition, as a prospect of future work.