Détection multimodale du stress pour la conception de logiciels de remédiation

Multimodal stress detection for remediation software design

• Auteur / Autrice : Mariette Soury
• Direction : Laurence Devillers
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 28/10/2014
• Etablissement(s) : Paris 11
• Ecole(s) doctorale(s) : Ecole doctorale Informatique de Paris-Sud
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique pour la mécanique et les sciences de l'ingénieur (Orsay, Essonne ; 1972-2020)
• Jury : Président / Présidente : Jean-Claude Martin
• Jury : Examinateurs / Examinatrices : Laurence Devillers, Jean-Claude Martin, Bernadette Dorizzi, Sylvie Pesty, Mohamed Chetouani
• Jury : Rapporteurs / Rapporteuses : Bernadette Dorizzi, Sylvie Pesty

Mots clés

Mots clés contrôlés

Phobie sociale

Apprentissage automatique

Gestion du stress

Mots clés libres

Stress

Phobie sociale

Détection multimodale du stress

Indices audio du stress

Indices faciaux du stress

Indices posturaux du stress

Fusion multimodale

Stress

Social phobia

Multimodal stress detection

Stress audio cues

Stress facial cues

Stress postural cues

Multimodal fusion

Résumé

Ces travaux de thèse portent sur la reconnaissance automatique du stress chez des humains en interaction dans des situations anxiogènes: prise de parole en public, entretiens et jeux sérieux à partir d'indices audio et visuels.Afin de concevoir des modèles de reconnaissance automatique du stress, nous utilisons : des indices audio calculés à partir de la voix des sujets, capturée par un micro cravate; et des indices visuels calculés soit à partir de l'expression faciale des sujets capturés par une webcam, soit à partir de la posture des sujets capturée par une Kinect. Une partie des travaux portent sur la fusion des informations apportées par les différentes modalités.L'expression et la gestion du stress sont influencées à la fois par des différences interpersonnelles (traits de personnalité, expériences passées, milieu culturel) et contextuelles (type de stresseur, enjeux de la situation). Nous évaluons le stress sur différents publics à travers des corpus de données collectés pendant la thèse: un public sociophobe en situation anxiogène, face à une machine et face à des humains; un public non pathologique en simulation d'entretien d'embauche; et un public non pathologique en interaction face à un ordinateur ou face au robot humanoïde Nao. Les comparaisons inter- individus, et inter-corpus révèlent la diversité de l'expression du stress.Une application de ces travaux pourrait être la conception d'outils thérapeutiques pour la maitrise du stress, notamment à destination des populations phobiques.Mots clé : stress, phobie sociale, détection multimodale du stress , indices audio du stress, indices faciaux du stress, indices posturaux du stress, fusion multimodale

This thesis focuses on the automatic recognition of human stress during stress-inducing interactions (public speaking, job interview and serious games), using audio and visual cues.In order to build automatic stress recognition models, we used audio cues computed from subjects' voice captured via a lapel microphone, and visual cues computed either form subjects' facial expressions captured via a webcam, or subjects' posture captured via a Kinect. Part of this work is dedicated to the study of information fusion form those various modalities.Stress expression and coping are influenced both by interpersonal differences (personality traits, past experiences, cultural background) and contextual differences (type of stressor, situation's stakes). We evaluated stress in various populations in data corpora collected during this thesis: social phobics in anxiety-inducing situations in interaction with a machine and with humans; apathologic subjects in a mock job interview; and apathologic subjects interaction with a computer and with the humanoid robot Nao. Inter-individual and inter-corpora comparisons highlight the variability of stress expression.A possible application of this work could be the elaboration of therapeutic software to learn stress coping strategies, particularly for social phobics.Key words: stress, social phobia, multimodal stress detection, stress audio cues, stress facial cues, stress postural cues, multimodal fusion