Détection de situations à risques pour des personnes fragiles sur des données multimodales

Detection of Risky Situations for Fragile People using Multimodal Data

• Auteur / Autrice : Thinhinane Yebda
• Direction : Jenny Benois Pineau, Hélène Amieva
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 21/01/2022
• Etablissement(s) : Bordeaux
• Ecole(s) doctorale(s) : École doctorale Mathématiques et informatique (Talence, Gironde ; 1991-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire bordelais de recherche en informatique
• Jury : Président / Présidente : Pascal Desbarats
• Jury : Examinateurs / Examinatrices : Cathal Gurrin
• Jury : Rapporteurs / Rapporteuses : Mihai Mitrea, Monique Thonnat

Mots clés

Mots clés contrôlés

Séries chronologiques

Télémédecine

Réseaux neuronaux (informatique)

Mots clés libres

Réseaux neuronaux

EHealthcare

Séries temporelles

Attention

LSTM

RNN

CNN

IoT

Neural Networks,

IoT

CNN

RNN

LSTM

Soft and Hard Attention,

Time series

EHealthcare

Résumé

Les prévisions actuelles montrent que la population mondiale vieillit. Cette population âgée est sujette à la fragilité avec des risques accrus dans leur quotidien. Ainsi, vieillir dans les meilleures conditions possibles et maintenir à domicile des sujets fragiles est devenu un défi, presque une nécessité. De nombreux projets ont alors été menés dans le monde, avec des architectures incluant des objets connectés avec différents types de capteurs et différentes techniques de détection pour assister les personnes âgées dans leur quotidien. La fragilité est un syndrome gériatrique caractérisé par la faiblesse, l'émaciation et une faible activité physique. L'objectif de cette thèse est d'identifier les risques au quotidien liés à la fragilité et d'y remédier. Nous proposons un dispositif portable pour prévenir les situations à risque des personnes fragiles à leur domicile. La prolifération des wearables a permis de collecter une énorme quantité de données physiologiques, motrices et environnementales pour évaluer l'état et les risques encourus par les humains dans différents environnements. Ainsi, instrumenter une personne fragile pour pouvoir l'accompagner dans sa vie quotidienne devient une tâche de plus en plus abordable. Différentes situations à risque sémantiques ont été rapportées telles que le risque de fraude et le risque d'accident domestique. La difficulté des études dans le monde réel avec des sujets fragiles est que les situations de risque sémantique sont à la fois complexes et "complémentaires".Pour nos recherches nous avons mis en place un dispositif porté par des volontaires sains enregistrant des données à l'aide d'un kit portable incluant des dispositifs IoT. A l'aide de ce dispositif nous avons enregistré un dataset avec des situations à risque simulées dans un environnement réel. Après des tests concluants, effectués sur un dataset lifelog pour la détection de situations à risque sémantiques, nous nous sommes intéressés à la détection de situations à risques sur séries temporelles. D'abord, on s'est essayé aux réseau de neurone LSTM comme algorithme de base ensuite nous avons testé des réseaux de neurones avec un ajout de l'attention.

Current projections show that the world's population is aging. This elderly population is prone to frailty with increased risks in their daily lives. Thus, aging in the best possible conditions and maintaining frail subjects at home has become a challenge, almost a necessity. Numerous projects have been carried out around the world, with architectures including connected objects with different types of sensors and different detection techniques to assist the elderly in their daily lives. Frailty is a geriatric syndrome characterized by weakness, emaciation and low physical activity. The objective of this thesis is to identify the daily risks related to frailty and to remedy them. We propose a wearable device to prevent at-risk situations for frail individuals in their homes. The proliferation of wearables has enabled the collection of a huge amount of physiological, motor and environmental data to assess the condition and risks faced by humans in different environments. Thus, instrumenting a frail person to be able to accompany them in their daily life is becoming an increasingly affordable task. Different semantic risk situations have been reported such as fraud risk and domestic accident risk. The difficulty of real world studies with frail subjects is that semantic risk situations are both complex and "complementary".For our research we set up a device worn by healthy volunteers recording data using a wearable kit including IoT devices. Using this device we recorded a dataset with simulated risk situations in a real environment. After conclusive tests, performed on a lifelog dataset for the detection of semantic risk situations, we were interested in the detection of risk situations on time series. First, we tried LSTM neural networks as a basic algorithm and then we tested neural networks with added attention.