Approches hybrides pour la reconnaissance du contexte dans les systèmes d'assistance à l'autonomie à domicile : application à la reconnaissance des émotions et à la reconnaissance et l'anticipation de l'activité humaine

Hybrid approaches for context recognition in Ambient Assisted Living systems : application to emotion recognition and human activity recognition and anticipation

• Auteur / Autrice : Hazem Khaled Mohamed Abdelkawy
• Direction : Yacine Amirat
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 16/09/2021
• Etablissement(s) : Paris 12
• Ecole(s) doctorale(s) : École doctorale Mathématiques, Sciences et Technologies de l'Information et de la Communication
• Partenaire(s) de recherche : Laboratoire : Laboratoire Images, Signaux et Systèmes Intelligents (Créteil) - Laboratoire Images, Signaux et Systèmes Intelligents
• Jury : Président / Présidente : Patrick Reignier
• Jury : Examinateurs / Examinatrices : Yacine Amirat, Mounim El Yacoubi, Mounir Mokhtari, Paulo Sequeira Gonçalves, Marie Babel, Abdelghani Chibani
• Jury : Rapporteurs / Rapporteuses : Mounim El Yacoubi, Mounir Mokhtari, Paulo Sequeira Gonçalves

Mots clés

Mots clés contrôlés

Reconnaissance automatique des émotions

Apprentissage profond

Mots clés libres

Deep learning

Reconnaissance des émotions

Ancrage de l'information

Raisonnement

Nkrl

Reconnaissance de l'intention

Deep learning

Emotion recognition

Information anchoring

Reasoning

Nkrl

Intention recognition

Résumé

Le paradigme de l'Internet des Robots et des objets (IoRT) étend la portée du concept traditionnel de l'internet des objets en dotant n'importe quel objet des trois principales fonctions typiques de tout système robotique : la perception, l'actionnement et le contrôle. Du domaine de la robotique en nuage (cloud robotics) au domaine des systèmes cognitifs en nuage (Cognitive Cloud) pour l'Internet des Robots et des objets (IoRT), il y a un consensus croissant sur la nécessité d'accroitre les capacités cognitives des objets et des robots connectés produits aujourd'hui. L'ancrage est une capacité cognitive importante que doit posséder tout système IoRT. Ce concept est défini comme le processus de création et de maintien des associations entre les descriptions et les informations perceptuelles correspondant aux mêmes objets physiques. Dans la majorité des tâches, les robots doivent percevoir ou interagir avec des objets physiques de leur environnement ; souvent, ils doivent aussi communiquer et raisonner sur les objets et leurs propriétés. Les informations sur les objets sont généralement produites, représentées et utilisées de différentes manières dans divers sous-systèmes robotiques. En particulier, les sous-systèmes de haut niveau raisonnent souvent sur les propriétés et descriptions des objets, tandis que les sous-systèmes de bas niveau utilisent des représentations basées sur les données capteurs. Contrairement aux humains, dans les systèmes multi-agents, les agents peuvent échanger des descriptions et des informations perceptuelles selon le paradigme «voir le monde à travers les yeux des autres».Cette thèse vise à proposer un cadre générique permettant de mettre en œuvre des mécanismes d'ancrages symboliques des observations des systèmes IoRT dans un contexte dynamique. Il s’agit ici d’aller au-delà des approches actuelles qui se focalisent essentiellement sur l’ancrage statique. Ce cadre sera structuré en deux niveaux :•Au niveau bas, le cadre exploitera les approches orientées données et notamment celles basées sur l’apprentissage automatique afin de mettre en œuvre une couche de fusion des données sensorielles de bas niveau. Ce cadre vise en particulier à mettre en œuvre une méthode de reconnaissance coopérative de l'intention humaine et des activités humaines tenant compte de l’incertitude dans les observations.•Au niveau haut, le cadre représentera l'information dynamique (encrage dynamique) en utilisant des modèles conceptuels, permettant d'associer différents types de descriptions d'objets aux informations perceptuelles hétérogènes.•Des simulations et des expérimentations de cas d’utilisation réels seront mises en œuvre pour la validation du cadre proposé.

The challenges surrounding the ubiquitous robotics are numerous in terms of fields of applications. One of the most important applications is the home care of the elderly and dependent people in the context of the Silver economy (or senior economy). The integration of service robotics in ambient intelligence environments aims to create cyber-physical spaces that provide, anywhere and anytime, a wide range of services to improve the quality of life, the physical and mental state, and the social well-being of users. The objective is to create a unified ecosystem exploiting all connected objects/entities in the environment (sensors, actuators, smartphones, smart TV, digital tablets, smartwatches, service robots, etc.) to create intelligent services and spaces according to the vision of theWeb of Objects (Web of Things). The success of intelligent ambient robotics operating and collaborating with humans in daily living environments depends on their ability to generalize and learn human movements, and obtain a shared understanding of an observed scene. In this context, human daily activity recognition, human emotion recognition, and human intention anticipation are the most challenging cognitive capabilities that should be integrated with any AAL system to guarantee the people's well-being and safety in the ambient intelligence environments. However, to efficiently integrate those capabilities in a highly dynamic environment, multiple modalities sensing systems combined with complex knowledge representation and fusion techniques are required.The objective of this thesis is to propose novel hybrid approaches that enable the AAL system to detect the emotional states, actions, and intentions of users, taking advantage of their context and the benefits of combining data-driven and knowledge-based techniques.The contributions of this thesis can be summarized as follows: