Apprentissage sur données spatio-temporelles par représentation à base de graphe.

Learning Spatio-temporal data by graph representations

• Auteur / Autrice : Yann Tirard-gatel
• Direction : Nicolas Ragot
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 02/01/2023
• Etablissement(s) : Tours
• Ecole(s) doctorale(s) : Mathématiques, Informatique, Physique Théorique et Ingénierie des Systèmes - MIPTIS
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'Informatique Fondamentale et Appliquée de Tours

Mots clés

Mots clés libres

Gnn

Reconnaissance d'action

Données temporelles

Gnn

Action recognition

Temporal data

Résumé

Étude de nouvelles représentations pour les graphes spatio-temporels : nous voulons approfondir différentes nouvelles représentations dans deux directions principales : La première consistant à la modélisation de données temporelles comme attribut des nœuds et arrêtes du graphe. La deuxième consistant à représenter les données temporelles comme les arrêtes entres des positions de l'espace représentées par les nœuds à différents moments. La thèse conduira à proposer de nouvelles architectures de réseaux de neurones pour des données décrite par ce type de graphe : nous chercherons à spécifier les étapes de convolution, dissémination et aggrégations pour les graphes et étudier des réseaux de neurone recurrent opérant directement sur l'espace des graphes. Un axe de recherche sera aussi les Spatial- Temporal Graph Attention Networks et Graph Transformer Networks. Le projet impliquera l'implémentation de ces modèles en python et leur comparaison avec l'état de l'art sur des jeux de données standards pour différentes applications en particulier pour la reconnaissance des mouvements du squelette humain.

Study new representations for spatio-temporal graphs: we want to investigate some new representations in two main directions: representing temporal data as attributes of nodes and edges, and representing temporal data as edge connections between spatial positions represented by nodes at different times. Propose new Neural Network architectures for data represented by this kind of graphs: we want to propose adapted convolutions, decimation and pooling, and study the definition of a recurrent neural network that operates directly in the space of the graphs (for example generating new graphs). One direction of study will also be the Spatial- Temporal Graph Attention Networks (STGAT [7]) and Graph Transformer Networks (GTN [8]). Program these models (in Python), and compare them to the state-of-the-art on standard datasets for different applications, in particular, skeleton-based gesture recognition.