Apport des techniques d'analyse et de traitement de données pour la reconnaissance des actions en vue d'un suivi du comportement humain

Contribution of data processing and analysis techniques for human action recognition

• Auteur / Autrice : Sid Ahmed Walid Talha
• Direction : Stéphane Lecœuche, Anthony Fleury
• Type : Thèse de doctorat
• Discipline(s) : Intelligence artificielle
• Date : Soutenance le 11/02/2020
• Etablissement(s) : Ecole nationale supérieure Mines-Télécom Lille Douai
• Ecole(s) doctorale(s) : École doctorale Sciences pour l'ingénieur (Lille)
• Partenaire(s) de recherche : Laboratoire : IMT Lille Douai
• Jury : Président / Présidente : Emmanuel Chazard
• Jury : Examinateurs / Examinatrices : Sylvie Charbonnier
• Jury : Rapporteurs / Rapporteuses : Éric Campo, Laurent Navarro

Mots clés

Mots clés libres

Reconnaissance d'actions humaines

Apprentissage automatique

Traitement du signal

Extraction des attributs

Sélection des attributs

Human action recognition

Machine learning

Signal processing

Feature extraction

Feature selection

Résumé

Pour lutter contre la perte d’autonomie liée au vieillissement dû à des altérations physiques et/ou psychiques, les nouvelles technologies, oeuvrent à retarder sa survenue, la détecter, l’évaluer et proposer des solutions modernes et innovantes. Dans ce contexte, notre projet de thèse vise à exploiter l’apport des techniques d’analyse et de traitement de données pour le suivi du comportement humain.Cette thèse cible deux parties importantes et complémentaires : la première réalise la synthèse journalière de l’ensemble des actions effectuées par la personne, afin de nous renseigner sur son degré d’autonomie. La deuxième partie propose une solution moderne basée sur l’exécution d’exercices physiques sous forme de mouvements contrôlés reconnus et corrigés.A partir d’une base de données de signaux acquis d’un accéléromètre et d’un gyroscope embarqués dans un smartphone, nous avons développé et mis en place un système intelligent pour la reconnaissance de l’action. Nous nous sommes tout d’abord intéressés à la construction d’un vecteur d’attributs pertinent et optimal suivant le problème de classification rencontré. Notre algorithme de sélection d’attributs est exécuté au niveau de chaque nœud interne de l’approche de classification nous permettant ainsi d’obtenir des performances supérieures aux différents travaux existants dans la littérature. Cette démarche a permis de classer trois catégories d’actions intiment corrélées avec l’autonomie et le bien-être : les actions sédentaires, les actions périodiques ou pseudo-périodiques et les actions non périodiques. Ce système reconnaît aussi six transitions posturales négligées dans la littérature mais importantes pour l’autonomie et le bien-être. Notre approche nous garantit la robustesse à l’emplacement des capteurs et permet de réduire considérablement le temps de calcul nécessaire pour reconnaître l’action.A la base des actions effectuées par la personne durant la journée, un indicateur d’autonomie pourra être établi. Pour maintenir cette autonomie et pallier au risque de la perdre, il est important de s’entretenir physiquement. Dans ce contexte, nous proposons un second système intelligent de reconnaissance de l’action humaine basé sur des données squelette acquis à partir d’une caméra Kinect. Un nouvel algorithme d’extraction d’attributs en temps réel appelé BDV (Body-part Directional Velocity) a été proposé. Dans ce cas le système intelligent de reconnaissance de l’action est basé sur les modèles de Markov cachés (HMMs) avec des distributions de sortie d’état représentées par des modèles de mélange gaussiens (GMMs). Les résultats expérimentaux sur deux jeux de données publiques ont démontré l’efficacité de notre approche et sa supériorité par rapport aux approches de l’état de l’art. L’invariance et la robustesse de l’approche à l’orientation ont été aussi abordées en positionnant ainsi notre technique parmi les meilleures approches testées sur deux jeux de données présentation ce challenge.La reconnaissance anticipée de l’action par notre système a aussi été considérée en montrant que la moitié des actions étaient prévisibles presque au milieu de l’ensemble de la séquence de données squelette, et que certaines classes ont été reconnues avec seulement 4 % de l’ensemble des données de la séquence.

To prevent the loss of autonomy linked to aging due to physical and / or psychological alterations, new technologies are working to delay its occurrence, detect it, assess it by offering modern and innovative solutions. In this context, our thesis project aims to exploit the contribution of analysis and data processing techniques for monitoring human behavior.This thesis targets two important and complementary parts: the first carries out the daily action recognition performed by a person, to inform us about his degree of autonomy. The second part offers a modern solution to maintain autonomy, it is based on the execution of physical exercices.From a datasets of signals collected by an accelerometer and a gyroscope embedded in a smartphone, we have developed and implemented an intelligent system for action recognition. We were first interested in the construction of a relevant and optimal feature vector according to the classification problem encountered. Our feature selection algorithm is executed at the level of each internal node of the classification approach, thus allowing us to outperform various state-of-the-art methods. Out approach carries out the classification of three categories of actions highly correlated with autonomy and well-being: sedentary actions, periodic or pseudo-periodic actions, and non-periodic actions. Our system also recognizes six postural transitions important for autonomy and well-being. The proposed approach guarantees robustness in the location of sensors and considerably reduces the computation time necessary to recognize the action.Based on actions carried out by the person during the day, an autonomy indicator can be established. To maintain this autonomy and decrease the risk of losing it, it is important to practice physical exercises. In this context, we propose a second intelligent system to recognize human actions based on skeleton data collected from a Kinect camera. A new algorithm for feature extraction in real-time called BDV (Body-part Directional Velocity) has been proposed. The classification of actions is based on hidden Markov models (HMMs) with state output distributions represented by Gaussian mixing models (GMMs). Experimental results on public datasets have demonstrated the effectiveness of our approach and its superiority over state-of-the-art methods. The invariance and robustness to the orientation of the camera were also addressed, thus positioning our technique among the best approaches on two datasets presenting this challenge. The early recognition of the action by our system was also considered by showing that half of the actions were predictable almost in the middle of the entire sequence of skeleton data and that some classes were recognized with only 4% of the sequence.