Collaboration entre un humain, un robot et un système ambiant pour l’évaluation de comportements

Human, robot an ambient system collaboration for behavior evaluation

• Auteur / Autrice : Emmanuel Dumont
• Direction : Dan Mircea Istrate, Mohamed Chetouani
• Type : Thèse de doctorat
• Discipline(s) : Bioingénierie et Sciences et Technologies de l’Information et des Systèmes : Unité de Recherche Biomécanique et Bio-ingénierie (UMR-7338)
• Date : Soutenance le 07/05/2019
• Etablissement(s) : Compiègne
• Ecole(s) doctorale(s) : École doctorale Sciences pour l'ingénieur (Compiègne)
• Partenaire(s) de recherche : Laboratoire : Biomécanique et Bioingéniérie

Mots clés

Mots clés contrôlés

Capteurs (technologie)

Ontologies (informatique)

Informatique

Analyse comportementale

Évaluation

Comportement humain

Analyse de scènes (informatique)

Intelligence ambiante

Interaction humain-machine

Interaction homme-robot

Robots mobiles

Robotique

Mots clés libres

Système ambiant

Traitement du signal social

Robotics

Ambient system

Ontology

Human behavior

Behavioral assessment

Social signal processing

Detectors

Human-robot interaction

Mobile robots

Résumé

Évaluer un comportement humain c’est évaluer tous les marqueurs traduisant ce comportement (gestes, paroles interactions, etc.). L’observation par un humain de certains marqueurs tels que les expressions faciales, la prosodie ou encore la linguistique, nécessite une formation spécialisée. Pour faciliter l’évaluation du comportement, des échelles indiquant les observations à mener et les conclusions à faire sont employées. Ainsi, automatiser l’évaluation du comportement revient à automatiser l’analyse d’un environnement par le biais de plusieurs capteurs, puis analyser les signaux obtenus afin d’en extraire les marqueurs permettant la déduction du comportement observé. Suite à la variabilité des observations de l’humain lors d’analyses trop spécifiques, de plus en plus d’études emploient ces systèmes automatiques d’observation et d’évaluation du comportement. L’objectif est d’assister l’analyse et l’évaluation humaine en exploitant des systèmes automatiques capables d’extraire des informations difficilement observables pour l’humain. En conséquence, la collaboration entre l’humain et les systèmes informatiques permet d’analyser plus d’éléments du comportement de manière fiable et objective. Cette thèse propose une approche de l’analyse du comportement s’appuyant sur la collaboration entre l’humain et un système automatique. Nous avons mis en place une plate-forme électronique et informatique composée d’un robot mobile et d’un système ambiant afin d’évaluer le comportement humain. Cette plate-forme se définie comme étant : — Modulaire à l’ajout ou le retrait de capteurs : L’ajout et la suppression de capteurs est faisable sans qu’un système ne soit impacté autrement que sur ses performances à reconnaître précisément les comportements; — Accessible à la lecture des données enregistrées : L’utilisation d’ontologies, en tant que base de données sémantiques et logiques, rend la plate-forme utilisable et accessible aux personnes non familiarisées aux systèmes informatiques complexes; — Robuste aux ambiguïtés : Chaque système de la plate-forme (ambiant ou robot) est indépendant et a sa propre représentation de l’environnement. Cependant, ils collaborent entre eux pour répondre aux incohérences ou aux manques d’informations durant l’accomplissement d’une tâche. A partir de la plate-forme présentée précédemment, nous analysons et mesurons la qualité de l’interaction entre un patient et un soignant lors d’une prise de sang réalisée en conditions habituelles. Pour cela, nous utilisons deux méthodes de renseignement des échelles : par un observateur présent lors du soin et par une étude de l’enregistrement vidéo réalisé durant le soin par la plate-forme. Nous émettons l’hypothèse que la présence d’un système automatique d’aide au diagnostic lors de l’analyse des vidéos enregistrées limite la complexité de l’évaluation du comportement et améliore l’objectivité de l’analyse.

To evaluate a human behavior is equivalent to evaluate all the markers translating this behavior (gestures, lyrics interactions, etc.). The observation by a human of certain markers such as facial expressions, prosody or linguistics, requires specialized training. To facilitate the assessment of behavior, scales indicating the observations to be made and the conclusions to be made are used. Thus, automating the evaluation of the behavior amounts to automate the analysis of an environment by means of several sensors, then analyzing the signals obtained in order to extract the markers allowing the deduction of the observed behavior. Due to the variability of human observations in overly specific analyzes, more and more studies are using thes automatic observation and behavioral evaluation systems. The objective is to assist human analysis and evaluation by exploiting automatic systems capable of extracting information that is difficult to observe for humans. As a result, the collaboration between the human and the computer systems makes it possible to analyze more elements of the behavior in a reliable and objective way. This thesis proposes an approach of behavior analysis based on the collaboration between humans and an automatic system. We set up an electronic and computer platform consisting of a mobile robot and an ambient system to evaluate human behavior. This platform is defined as: — Modular to the addition or removal of sensors: The addition and removal of sensors is feasible without a system is impacted otherwise than its performance to accurately recognize behaviors; — Accessible to Reading Recorded Data: The use of ontologies, as a semantic and logical database, makes the platform usable and accessible to people unfamiliar With complex computer systems; — Robust to ambiguities: every platform system (ambient or robot) is independent and has its own representation of the environment. However, they collaborate With each Other to respond to inconsistencies or lack of information during the performance of a task.