Modèle informatique pour la génération de comportements affectifs et non verbaux pour un patient virtuel Alzheimer

par Amine Benamara

Projet de thèse en Informatique

Sous la direction de Jean-Claude Martin, Elise Prigent et de Brian Ravenet.

Thèses en préparation à Paris Saclay , dans le cadre de École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....) , en partenariat avec LIMSI - Laboratoire d'Informatique pour la Mécanique et les Sciences de l'Ingénieur (laboratoire) , CPU - Cognition, Perception et Usages (equipe de recherche) et de Université Paris-Sud (établissement de préparation de la thèse) depuis le 02-01-2019 .


  • Résumé

    Le but de cette thèse est de proposer un modèle permettant de générer des comportements émotionnels et non-verbaux pathologiques crédibles pour un patient virtuel simulant un patient Alzheimer. Ce patient virtuel servira à la formation du personnel soignant. Les signaux non verbaux affichés par les médecins ont un impact important sur les patients. Les patients virtuels sont des personnages virtuels qui peuvent être utilisés pour former des médecins à interagir avec des patients humains. Les patients virtuels actuels sont limités à plusieurs égards. Ils ne sont pas appliqués aux patients atteints de démence. La dynamique de l'interactivité et de la prise en compte des comportements non verbaux affichés par l'apprenant et le personnage virtuel est limitée. Les scénarios sont pilotés manuellement par un expérimentateur ou se limitent à la sélection d'animations intégrées sans modélisation dynamique du composant d'évaluation pathologique du patient atteint de démence, ni sur un modèle comportemental probabiliste basé sur les données de terrain. Une composante dynamique basée sur les théories cognitives des émotions sera modélisée à partir de données de terrain et d'entretiens avec des experts médicaux. Cette composante sera limitée à un ensemble de critères utilisés pour évaluer la situation actuelle. Le patient virtuel simulera l'évaluation de ces critères en prenant en compte des informations contextuelles (par exemple, une évaluation systématiquement négative d'événements inattendus). Le modèle tiendra compte des effets modérateurs que le comportement non verbal de l'utilisateur peut avoir sur ces évaluations de la situation par le patient. L'évaluation de l'espérance de la situation actuelle sera prise en compte, car des événements inattendus peuvent induire des comportements violents chez les patients atteints de démence. Cette composante cognitive et émotionnelle simple permettra des réactions plus réalistes du patient virtuel et une sélection plus dynamique du comportement non verbal et des animations associées. Ces données sont nécessaires pour générer des explications sur le retour d'information formatif à fournir à l'apprenant. L'état de l'art montre que la modélisation d'un patient virtuel interactif est une tâche très complexe. Pour cette raison, la thèse sera 1) focalisée sur un ensemble limité d'éléments cognitifs pertinents identifiés avec les partenaires médicaux et inspirés des données de terrain collectées, 2) focalisée sur des comportements non verbaux pertinents (il n'y aura aucune reconnaissance vocale de la parole de l'apprenant; le patient virtuel utilisera la parole enregistrée pour assurer une qualité audio et un cadre réaliste), et 3) il n'y aura pas de génération automatique de dialogue mais plutôt une sélection dynamique des chemins dans les arbres narratifs (la sélection du chemin à suivre dans l'arbre de branchage narratif étant basée sur un modèle de composants cognitifs identifiés limités). L'évaluation séquentielle de ces critères sera conçue de manière à ce que leur combinaison séquentielle (éventuellement avec la valeur de certains critères non spécifiée dans certaines situations). Les résultats attendus sont les suivants : - Etat de l'art (comportements non-verbaux, patients virtuels, psychiatrie informatique,…) - Spécifications du patient virtuel - Modèle informatique des symptômes psychologiques du patient atteint de démence - Modèle de calcul des symptômes comportementaux multimodaux - Développement de modèles informatiques de caractéristiques comportementales et cliniques de patients atteints de démence en utilisant des cas réels et des observations sur le terrain. Cette tâche a pour but de concevoir des agents virtuels expressifs grâce à des études de terrain et à la collecte de corpus multimodaux. - Adapter et étendre ses travaux antérieurs sur les systèmes d'annotation multimodaux pour les comportements, les émotions et les événements émotionnels dans les récits (plate-forme MARC et/ou UNITY) pour l'animation d'agents virtuels avec un modèle cognitif d'affect) au particulier. besoins des VP. - Adaptation du modèle cognitif de l'émotion du modèle de processus à composantes à la démence. - Spécification d'expressions faciales subtiles et animations pour l'expression d'affect et d'états cognitifs liés à la démence - Les animations générées des comportements affectifs multimodaux des patients seront évaluées par des spécialistes en termes de crédibilité. - Intégration avec les livrables des partenaires

  • Titre traduit

    Computer model for generating emotional and nonverbal behaviors for a virtual Alzheimer patient


  • Résumé

    The aim of this thesis is to propose a model to generate credible emotional and non-verbal pathological behaviors for a virtual patient simulating an Alzheimer's patient. This virtual patient will be used for the training of the nursing staff. The nonverbal signals displayed by doctors have a significant impact on patients. Virtual patients are virtual characters that can be used to train physicians to interact with human patients. Current virtual patients are limited in many ways. They are not applied to patients with dementia. The dynamics of interactivity and taking into account the non-verbal behaviors displayed by the learner and the virtual character is limited. The scenarios are piloted manually by an experimenter or are limited to the selection of integrated animations without dynamic modeling of the pathological evaluation component of the patient with dementia, nor on a probabilistic behavioral model based on field data. A dynamic component based on the cognitive theories of emotions will be modeled from field data and interviews with medical experts. This component will be limited to a set of criteria used to assess the current situation. The virtual patient will simulate the evaluation of these criteria taking into account contextual information (for example, a systematically negative evaluation of unexpected events). The model will take into account the moderating effects that the user's nonverbal behavior may have on these assessments of the situation by the patient. The assessment of the expectation of the current situation will be taken into account, as unexpected events may induce violent behavior in patients with dementia. This simple cognitive and emotional component will allow more realistic reactions of the virtual patient and a more dynamic selection of nonverbal behavior and associated animations. These data are necessary to generate explanations on the formative feedback to be provided to the learner. The state of the art shows that modeling an interactive virtual patient is a very complex task. For this reason, the thesis will be 1) focused on a limited set of relevant cognitive elements identified with the medical partners and inspired by collected field data, 2) Focused on relevant non-verbal behaviors (there will be no speech recognition of the learner's speech, the virtual patient will use the recorded speech to ensure audio quality and a realistic setting), and 3) there will be no automatic generation of dialogue but rather a dynamic selection of paths in narrative trees (the selection of the path to follow in the narrative tree branch being based on a model of limited identified cognitive components) . The sequential evaluation of these criteria will be designed so that their sequential combination (possibly with the value of certain criteria not specified in certain situations). The expected results are as follows: - State of the art (non-verbal behaviors, virtual patients, computer psychiatry, ...) - Virtual patient specifications - Computer model of the psychological symptoms of the patient with dementia - Model for calculating multimodal behavioral symptoms - Development of computer models of behavioral and clinical characteristics of patients with dementia using real cases and field observations. This task aims to design expressive virtual agents through field studies and collection of multimodal corpora. - Adapt and extend his previous work on multimodal annotation systems for behaviors, emotions and emotional events in narratives (MARC and / or UNITY platform) for the animation of virtual agents with a cognitive model. affect) to the individual. needs of VPs. - Adaptation of the cognitive model of the emotion of the component process model to dementia. - Specification of subtle facial expressions and animations for the expression of affect and cognitive states related to dementia - The generated animations of the multimodal affective behaviors of the patients will be evaluated by specialists in terms of credibility. - Integration with partner deliverables