Modèles statistiques avancés pour la reconnaissance de l’activité physique dans un environnement non contrôlé en utilisant un réseau d’objets connectés

Advanced Statistical Models for Recognizing Physical Activity in an Uncontrolled Environment Using a Network of Connected Objects

• Auteur / Autrice : Hamdi Amroun
• Direction : Mehdi Ammi
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 26/10/2018
• Etablissement(s) : Université Paris-Saclay (ComUE)
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique pour la mécanique et les sciences de l'ingénieur (Orsay, Essonne ; 1972-2020)
• Partenaire(s) de recherche : établissement opérateur d'inscription : Université Paris-Sud (1970-2019)
• Jury : Président / Présidente : Michel-Ange Amorim
• Jury : Examinateurs / Examinatrices : Mehdi Ammi, Michel-Ange Amorim, Mohamed Chetouani, Dirk Heylen, Jean Daniel Zucker, NIzar Ouarti
• Jury : Rapporteur / Rapporteuse : Mohamed Chetouani, Dirk Heylen

Mots clés

Mots clés contrôlés

Internet des objets

Optimisation par essaims particulaires

Télécommunications -- Équipement

Intelligence artificielle

Fusion multicapteurs

Mots clés libres

Reconnaissance de l’activité physique

Activités élémentaires

Activités basées sur le contexte

Dempster-Shafer Theory

Optimisation par essaim particulaires

Internet des objets

Physical Activity Recognition

Basic Activities

Context Based Activities

Dempster-Shafer Theory

Particle Swarm Optimization

Internet of Things

Résumé

Avec l’arrivée des objets connectés, la reconnaissance de l’activité physique connait une nouvelle ère. De nouvelles considérations sont à prendre en compte afin d’aboutir à un meilleur processus de traitement. Dans cette thèse, nous avons exploré le processus de traitement pour la reconnaissance de l’activité physique dans un environnement non contrôlé. Les activités physiques reconnues, avec seulement une centrale inertielle (accéléromètre, gyroscope et magnétomètre), sont dites élémentaires. Les autres types d’activités dépendantes d’un contexte sont dites « basés sur le contexte ». Nous avons extrait la transformée en cosinus discrète (DCT) comme principal descripteur pour la reconnaissance des activités élémentaires. Afin de reconnaitre les activités physiques basées sur le contexte, nous avons défini trois niveaux de granularité : un premier niveau dépendant des objets connectés embarqués (smartphone, smartwatch et samrt TV). Un deuxième niveau concerne l’étude des comportements des participants en interaction avec l’écran de la smart TV. Le troisième niveau concerne l’étude de l’attention des participants envers la TV. Nous avons pris en considération l’aspect imperfection des données en fusionnant les données multi capteurs avec le modèle de Dempster-Shafer. A ce titre, nous avons proposé différentes approches pour calculer et approximer les fonctions de masse. Afin d’éviter de calculer et sélectionner les différents descripteurs, nous avons proposé une approche basée sur l’utilisation d’algorithmes d’apprentissage en profondeur (DNN). Nous avons proposé deux modèles : un premier modèle consiste à reconnaitre les activités élémentaires en sélectionnant la DCT comme principal descripteur (DNN-DCT). Le deuxième modèle consiste à apprendre les données brutes des activités basées sur le contexte (CNN-brutes). L’inconvénient du modèle DNN-DCT est qu’il est rapide mais moins précis, alors que le modèle CNN-brutes est plus précis mais très lent. Nous avons proposé une étude empirique permettant de comparer les différentes méthodes pouvant accélérer l’apprentissage tout en gardant un niveau élevé de précision. Nous avons ainsi exploré la méthode d’optimisation par essaim particulaires (PSO). Les résultats sont très satisfaisants (97%) par rapport à l’apprentissage d’un réseau de neurones profond avec les méthodes d’optimisation classiques telles que la descente de Gradient Stochastique et l’optimisation par Gradient accéléré de Nesterov. Les résultats de nos travaux suggèrent le recours à de bons descripteurs dans le cas où le contexte n’importe peu, la prise en compte de l’imperfection des données capteurs quand le domaine sous-jacent l’exige, l’utilisation de l’apprentissage profond avec un optimiseur permettant d’avoir des modèles très précis et plus rapides.

With the arrival of connected objects, the recognition of physical activity is experiencing a new era. New considerations need to be taken into account in order to achieve a better treatment process. In this thesis, we explored the treatment process for recognizing physical activity in an uncontrolled environment. The recognized physical activities, with only one inertial unit (accelerometer, gyroscope and magnetometer), are called elementary. Other types of context-dependent activities are called ''context-based''. We extracted the DCT as the main descriptor for the recognition of elementary activities. In order to recognize the physical activities based on the context, we defined three levels of granularity: a first level depending on embedded connected objects (smartphone, smartwatch and samrt TV . A second level concerns the study of participants' behaviors interacting with the smart TV screen. The third level concerns the study of participants' attention to TV. We took into consideration the imperfection aspect of the data by merging the multi sensor data with the Dempster-Shafer model. As such, we have proposed different approaches for calculating and approximating mass functions. In order to avoid calculating and selecting the different descriptors, we proposed an approach based on the use of deep learning algorithms (DNN). We proposed two models: a first model consisting of recognizing the elementary activities by selecting the DCT as the main descriptor (DNN-DCT). The second model is to learn raw data from context-based activities (CNN-raw). The disadvantage of the DNN-DCT model is that it is fast but less accurate, while the CNN-raw model is more accurate but very slow. We have proposed an empirical study to compare different methods that can accelerate learning while maintaining a high level of accuracy. We thus explored the method of optimization by particle swarm (PSO). The results are very satisfactory (97%) compared to deep neural network with stochastic gradients descent and Nesterov accelerated Gradient optimization. The results of our work suggest the use of good descriptors in the case where the context matters little, the taking into account of the imperfection of the sensor data requires that it be used and faster models.