Vers une approche discriminante pour la reconnaissance de mots manuscrits en-ligne utilisant des modèles de bi-caractères

On the use of a discriminant approach for handwritten word recognition based on bi-character models

• Auteur / Autrice : Sophea Prum
• Direction : Jean-Marc Ogier
• Type : Thèse de doctorat
• Discipline(s) : Informatique et applications
• Date : Soutenance le 08/11/2013
• Etablissement(s) : La Rochelle
• Ecole(s) doctorale(s) : École doctorale Sciences et ingénierie pour l'information, mathématiques (Limoges ; 2009-2018)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Informatique, Image et Interaction
• Jury : Président / Présidente : Jean-Yves Ramel
• Jury : Examinateurs / Examinatrices : Salvatore-Antoine Tabbone, Andreas Fischer, Muriel Visani
• Jury : Rapporteur / Rapporteuse : Nicole Vincent, Jean-Philippe Domenger

Mots clés

Mots clés contrôlés

Reconnaissance optique des caractères

Programmation dynamique

Mots clés libres

Reconnaissance de mots manuscrits en-ligne

Modèle de bi-caractères

Programmation dynamique

Séparateurs à vaste marge

Combinaison de caractéristiques en ligne et hors-ligne

On-line handwriting recognition

Bi-character models

Dynamic programming

Support vector machine

Combining on-line and Off-line Features

Résumé

Avec l’avènement des dispositifs nomades tels que les smartphones et les tablettes, la reconnaissance automatique de l’écriture manuscrite cursive à partir d’un signal en ligne est devenue durant les dernières décennies un besoin réel de la vie quotidienne à l’ère numérique. Dans le cadre de cette thèse, nous proposons de nouvelles stratégies pour un système de reconnaissance de mots manuscrits en-ligne. Ce système se base sur une méthode collaborative segmentation/reconnaissance et en utilisant des analyses à deux niveaux : caractère et bi-caractères. Plus précisément, notre système repose sur une segmentation de mots manuscrits en graphèmes afin de créer un treillis à L niveaux. Chaque noeud de ce treillis est considéré comme un caractère potentiel envoyé à un moteur de Reconnaissance de Caractères Isolés (RCI) basé sur un SVM. Pour chaque noeud, ce dernier renvoie une liste de caractères associés à une liste d’estimations de probabilités de reconnaissance. Du fait de la grande diversité des informations résultant de la segmentation en graphèmes, en particulier à cause de la présence de morceaux de caractères et de ligatures, l’injection de chacun des noeuds du treillis dans le RCI engendre de potentielles ambiguïtés au niveau du caractère. Nous proposons de lever ces ambiguïtés en utilisant des modèles de bi-caractères, basés sur une régression logistique dont l’objectif est de vérifier la cohérence des informations à un niveau de reconnaissance plus élevé. Finalement, les résultats renvoyés par le RCI et l’analyse des modèles de bi-caractères sont utilisés dans la phase de décodage pour parcourir le treillis dans le but de trouver le chemin optimal associé à chaque mot dans le lexique. Deux méthodes de décodage sont proposées (recherche heuristique et programmation dynamique), la plus efficace étant basée sur de la programmation dynamique.

With the advent of mobile devices such as tablets and smartphones over the last decades, on-line handwriting recognition has become a very highly demanded service for daily life activities and professional applications. This thesis presents a new approach for on-line handwriting recognition. This approach is based on explicit segmentation/recognition integrated in a two level analysis system: character and bi-character. More specifically, our system segments a handwritten word in a sequence of graphemes to be then used to create a L-levels lattice of graphemes. Each node of the lattice is considered as a character to be submitted to a SVM based Isolated Character Recognizer (ICR). The ICR returns a list of potential character candidates, each of which is associated with an estimated recognition probability. However, each node of the lattice is a combination of various segmented graphemes. As a consequence, a node may contain some ambiguous information that cannot be handled by the ICR at character level analysis. We propose to solve this problem using ''bi-character'' models based on Logistic Regression, in order to verify the consistency of the information at a higher level of analysis. Finally, the recognition results provided by the ICR and the bi-character models are used in the word decoding stage, whose role is to find the optimal path in the lattice associated to each word in the lexicon. Two methods are presented for word decoding (heuristic search and dynamic programming), and dynamic programming is found to be the most effective.