Vers une nouvelle Interaction Homme Environnement dans les jeux vidéo et pervasifs : rétroaction biologique et états émotionnels : apprentissage profond non supervisé au service de l'affectique

Towards a new Human Environment Interaction in video and pervasive games : biofeedback and emotional states : unsupervised deep learning for affectics

• Auteur / Autrice : Viviane Gal
• Direction : Eric Gressier-Soudan
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 09/12/2019
• Etablissement(s) : Paris, CNAM
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris
• Partenaire(s) de recherche : Laboratoire : Centre d'études et de recherche en informatique et communications (Paris)
• Jury : Président / Présidente : Charles Tijus
• Jury : Examinateurs / Examinatrices : Pierre Cubaud, Elisabeth Métais, Sylvie Pesty
• Jury : Rapporteurs / Rapporteuses : Charles Tijus, Jean-Claude Heudin

Mots clés

Mots clés contrôlés

Biocapteurs

Apprentissage profond

Informatique omniprésente

Apprentissage automatique

Émotions

Interaction humain-machine

Reconnaissance automatique des émotions

Informatique affective

Mots clés libres

Informatique affective - Affectique

Capteurs physiologiques

Interaction humain environnement

Etats émotionnels

Apprentissage profond non supervisé

Jeux vidéo et pervasifs

Cartes de Kohonen

EMDeep

Réseau sans fil

Intelligence ambiante

Affective computing - Affectics

Physiological sensors

Human environment interaction

Emotional states

Unsupervised machine learning

Video games and pervasives games

Kohonen maps

EMDeep

Wireless network

Ambient intelligence

Résumé

Vivre des moments exceptionnels, connaître des sensations fortes, du bien-être, nous épanouir, font souvent partie de nos rêves ou aspirations. Nous choisissons des moyens divers pour y arriver comme le jeu. Que le joueur recherche l’originalité, les défis, la découverte, une histoire, ou d’autres buts, ce sont des états émotionnels qui sont l’objet de sa quête. Il attend que le jeu lui procure du plaisir, des sensations. Comment les lui apporter ? Mettre au point une nouvelle interaction humain environnement, dans les jeux vidéo ou pervasifs ou autres applications, prenant en compte et s’adaptant aux émotions de chacun, sans être gêné par les interfaces, biocapteurs de contact par exemple, est notre objectif. Cela soulève deux questions : - Peut-on découvrir des états émotionnels à partir de mesures physiologiques issues de biocapteurs de contact ? - Si oui, ces capteurs peuvent-ils être remplacés par des dispositifs distants, donc non invasifs, et produire les mêmes résultats ?Les modèles mis au point proposent des solutions à base de méthodes mathématiques d’apprentissage non supervisées. Nous présentons aussi des moyens de mesures à distance et expliquons les futurs travaux dans le domaine que nous baptisons affectique.

Living exceptional moments, experiencing thrills, well-being, blooming, are often part of our dreams or aspirations. We choose various ways to get there like games. Whether the player is looking for originality, challenges, discovery, a story, or other goals, emotional states are the purpose of his quest. He remains until the game gives him pleasure, sensations. How bring them there? We are developing a new human environment interaction that takes into account and adapts to emotions. We address video or pervasive games or other applications. Through this goal, players should not be bothered by interfaces, or biosensors invasivness. This work raises two questions:- Can we discover emotional states based on physiological measurements from contact biosensors?- If so, can these sensors be replaced by remote, non-invasive devices and produce the same results?The models we have developed propose solutions based on unsupervised machine learning methods. We also present remote measurements technics and explain our future works in a new field we call affectics.