Intégration de connaissances explicites à l’apprentissage profond pour la reconnaissance et la segmentation d’écriture manuscrite d’enfants

Integrating Explicit Knowledge with Deep Learning for Children's Handwriting Recognition and Segmentation

• Auteur / Autrice : Simon Corbillé
• Direction : Éric Anquetil, Élisa Fromont
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 28/06/2023
• Etablissement(s) : Université de Rennes (2023-....)
• Ecole(s) doctorale(s) : École doctorale Mathématiques, télécommunications, informatique, signal, systèmes, électronique (Rennes ; 2022-....)
• Partenaire(s) de recherche : Laboratoire : Institut de recherche en informatique et systèmes aléatoires (Rennes) - LACODAM - IntuiDOC
• Jury : Président / Présidente : Harold Mouchère
• Jury : Examinateurs / Examinatrices : Nicolas Ragot, Sébastien Adam
• Jury : Rapporteurs / Rapporteuses : Harold Mouchère, Véronique Eglin

Mots clés

Mots clés contrôlés

Apprentissage automatique

Reconnaissance des formes (informatique)

Mots clés libres

Reconnaissance des formes (informatique)

Analyse

Segmentation

Apprentissage automatique

Écriture manuscrite d'enfants

Éducation

Pattern recognition (computer science)

Analyse

Segmentation

Machine learning

Children's handwriting

Education

Résumé

Notre objectif est de concevoir un système de reconnaissance et de segmentation d'écriture manuscrite d'enfants dans le but d'analyser précisément l'écriture afin de faire des retours orthographiques immédiats à l'enfant. Les contributions de cette thèse reposent sur l'hybridation de modèles d'apprentissage profond avec des modèles utilisant des connaissances expertes explicites. La première contribution consiste à intégrer la dynamique de l'écriture contenue dans le signal en ligne dans un réseau de neurones convolutifs pour faire de la reconnaissance de caractères. La seconde contribution porte sur l'amélioration d'un système existant d'analyse de mots. Ce système utilise un mécanisme de guidage par la consigne ainsi que les mots phonétiquement proches de la consigne pour aiguiller son analyse. Le principe est d'intégrer la prédiction d'un modèle de reconnaissance Seq2Seq dans le système de guidage. L'objectif est de palier les manques du mécanisme de guidage quand les mots d'entrée contiennent des erreurs non-phonétiques. La troisième contribution propose un nouveau système de reconnaissance et de segmentation. Il repose sur la combinaison d'un modèle dédié à la reconnaissance et d'un modèle dédié à la segmentation. Le système intègre également les connaissances contenues dans le signal en ligne afin d'améliorer la précision de la segmentation. Enfin, nous avons développé un mécanisme de rejet dans le but d'améliorer la qualité du retour effectué à l'enfant. Les résultats des expérimentations démontrent l'intérêt et l'efficacité de ces contributions.

Our goal is to design a tool for children's handwriting recognition and segmentation in order to accurately analyze the handwriting and provide immediate orthographic feedback to the child. The contributions of this thesis are based on the hybridization of deep learning models with models using explicit expert knowledge. The first contribution consists in integrating the writing dynamics of the online signal in a convolutional neural network for character recognition. The second contribution concerns the improvement of an existing word analysis system. This system uses a guidance mechanism based on the instruction and the words phonetically close to the instruction. It integrates the prediction of a Seq2Seq recognition model into the guidance system. The objective is to overcome the shortcomings of the guidance mechanism when the input words contain non-phonetic errors. The third contribution proposes a new recognition and segmentation framework. It is based on the combination of a model dedicated to recognition and a model dedicated to segmentation. The system also integrates the knowledge contained in the online signal in order to improve the accuracy of the segmentation. Finally, we have developed a rejection mechanism to improve the quality of the feedback given to the child. The results of the experiments demonstrate the interest and efficiency of these contributions.