Analyse automatique de l’écriture manuscrite sur tablette pour la détection et le suivi thérapeutique de personnes présentant des pathologies

Automatic handwriting analysis for pathology detection and follow-up on digital tablets

• Auteur / Autrice : Christian Kahindo Senge Muvingi
• Direction : Sonia Garcia-Salicetti, Mounim El Yacoubi
• Type : Thèse de doctorat
• Discipline(s) : Traitement du signal et des images
• Date : Soutenance le 14/11/2019
• Etablissement(s) : Université Paris-Saclay (ComUE)
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Télécom SudParis (Evry ; 2012-....) - Département Electronique et Physique / EPH - Services répartis- Architectures- MOdélisation- Validation- Administration des Réseaux / SAMOVAR
• Partenaire(s) de recherche : établissement opérateur d'inscription : Institut national des télécommunications (Evry ; 1979-2009)
• Partenaire(s) de recherche : Equipe de recherche : ARMEDIA / ARMEDIA-SAMOVAR
• Jury : Président / Présidente : Mehdi Ammi
• Jury : Examinateurs / Examinatrices : Nicole Vincent, Dan Mircea Istrate, Anne-Sophie Rigaud, Laurence Likforman-Sulem, Nadine Vigouroux
• Jury : Rapporteur / Rapporteuse : Nicole Vincent, Dan Mircea Istrate

Mots clés

Mots clés contrôlés

Apprentissage supervisé (intelligence artificielle)

Troubles de la cognition

Écriture

Alzheimer, Maladie d'

Mots clés libres

Ecriture manuscrite en-ligne

Alzheimer

Troubles cognitifs légers

Apprentissage supervisé & semi-supervisé

Apprentissage de représentations temporelles

Online handwriting

Alzheimer’s disease

Mild cognitive impairment

Unsupervised & semi-supervised learning

Temporal representation learning

Résumé

Nous présentons dans cette thèse un nouveau paradigme pour caractériser la maladie d’Alzheimer à travers l’écriture manuscrite acquise sur tablette graphique. L’état de l’art est dominé par des méthodes qui supposent un comportement unique ou homogène au sein de chaque profil cognitif. Ces travaux exploitent des paramètres cinématiques globaux, sur lesquels ils appliquent des tests statistiques ou des algorithmes de classification pour discriminer les différents profils cognitifs (les patients Alzheimer, les troubles cognitifs légers (« Mild Cognitive impairment » : MCI) et les sujets Contrôle (HC)). Notre travail aborde ces deux limites de la littérature de la façon suivante : premièrement au lieu de considérer un comportement homogène au sein de chaque profil cognitif ou classe (HC, MCI, ES-AD : « Early-Stage Alzheimer Disease »), nous nous sommes affranchis de cette hypothèse (ou contrainte) forte de la littérature. Nous considérons qu’il peut y avoir plusieurs comportements au sein de chaque profil cognitif. Ainsi, nous proposons un apprentissage semi-supervisé pour trouver des groupes homogènes de sujets et analysons l’information contenue dans ces clusters ou groupes sur les profils cognitifs. Deuxièmement, au lieu d’exploiter les paramètres cinématiques globaux (ex : vitesse moyenne, pression moyenne, etc.), nous avons défini deux paramétrisations ou codages : une paramétrisation semi-globale, puis locale en modélisant la dynamique complète de chaque paramètre. L’un de nos résultats importants met en évidence deux clusters majeurs qui sont découverts, l’un dominé par les sujets HC et MCI et l’autre par les MCI et ES-AD, révélant ainsi que les patients atteints de MCI ont une motricité fine qui est proche soit des sujets HC, soit des patients ES-AD. Notre travail montre également que la vitesse prise localement regroupe un ensemble riche des caractéristiques telles que la taille, l’inclinaison, la fluidité et la régularité, et révèle comment ces paramètres spatiotemporels peuvent conjointement caractériser les profils cognitifs.

We present, in this thesis, a novel paradigm for assessing Alzheimer’s disease by analyzing impairment of handwriting (HW) on tablets, a challenging problem that is still in its infancy. The state of the art is dominated by methods that assume a unique behavioral trend for each cognitive profile, and that extract global kinematic parameters, assessed by standard statistical tests or classification models, for discriminating the neuropathological disorders (Alzheimer’s (AD), Mild Cognitive Impairment (MCI)) from Healthy Controls (HC). Our work tackles these two major limitations as follows. First, instead of considering a unique behavioral pattern for each cognitive profile, we relax this heavy constraint by allowing the emergence of multimodal behavioral patterns. We achieve this by performing semi-supervised learning to uncover homogeneous clusters of subjects, and then we analyze how much information these clusters carry on the cognitive profiles. Second, instead of relying on global kinematic parameters, mostly consisting of their average, we refine the encoding either by a semi-global parameterization, or by modeling the full dynamics of each parameter, harnessing thereby the rich temporal information inherently characterizing online HW. Thanks to our modeling, we obtain new findings that are the first of their kind on this research field. A striking finding is revealed: two major clusters are unveiled, one dominated by HC and MCI subjects, and one by MCI and ES-AD, thus revealing that MCI patients have fine motor skills leaning towards either HC’s or ES-AD’s. This thesis introduces also a new finding from HW trajectories that uncovers a rich set of features simultaneously like the full velocity profile, size and slant, fluidity, and shakiness, and reveals, in a naturally explainable way, how these HW features conjointly characterize, with fine and subtle details, the cognitive profiles.