Apprentissage profond pour les séries temporelles multivariées : contrôle de véhicule autonome, reconnaissance de gestes et génération de mouvement

Deep learning for multivariate time series : from vehicle control to gesture recognition and generation

• Auteur / Autrice : Guillaume Devineau
• Direction : Fabien Moutarde
• Type : Thèse de doctorat
• Discipline(s) : Informatique temps réel, robotique, automatique
• Date : Soutenance le 02/09/2020
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : Ecole doctorale Ingénierie des Systèmes, Matériaux, Mécanique, Énergétique
• Partenaire(s) de recherche : Laboratoire : Centre de robotique (Paris)
• Partenaire(s) de recherche : établissement de préparation de la thèse : École nationale supérieure des mines (Paris ; 1783-....)
• Jury : Président / Présidente : Alexandre Gramfort
• Jury : Examinateurs / Examinatrices : Fabien Moutarde, Alexander Gepperth, Jean-Philippe Vandeborre
• Jury : Rapporteurs / Rapporteuses : Catherine Achard, Christian Wolf

Mots clés

Mots clés contrôlés

Homme -- Attitude et mouvement

Modélisation des données (informatique)

Reconnaissance gestuelle

Véhicules autonomes

Séries chronologiques

Réseaux neuronaux (informatique)

Apprentissage profond

Mots clés libres

Apprentissage profond

Contrôle couplé de véhicule

Reconnaissance de gestes et d’actions

Génération de mouvements humains

Représentation de pose humaine

Séries temporelles

Modélisation de données séquentielles

Deep learning

Coupled vehicle control

Gesture and action recognition

Human motion generation

Human pose embedding

Time series

Sequence modeling

Résumé

L'apprentissage profond est une branche du domaine de l'intelligence artificielle qui vise à doter les machines de la capacité d'apprendre par elles-mêmes à réaliser des tâches précises. L'apprentissage profond a abouti à des développements spectaculaires dans le domaine de l'image et du langage naturel au cours des dernières années. Pourtant, dans de nombreux domaines, les données d'observations ne sont ni des images ni du texte mais des séries temporelles qui représentent l'évolution de grandeurs mesurées ou calculées. Dans cette thèse, nous étudions et proposons différentes représentations de séries temporelles à partir de modèles d'apprentissage profond. Dans un premier temps, dans le domaine du contrôle de véhicules autonomes, nous montrons que l'analyse d'une fenêtre temporelle par un réseau de neurones permet d'obtenir de meilleurs résultats que les méthodes classiques qui n'utilisent pas de réseaux de neurones. Dans un second temps, en reconnaissance de gestes et d'actions, nous proposons des réseaux de neurones convolutifs 1D où la dimension temporelle seule est convoluée, afin de tirer profit des invariances temporelles. Dans un troisième temps, dans un but de génération de mouvements humains, nous proposons des réseaux de neurones génératifs convolutifs 2D où les dimensions temporelles et spatiales sont convoluées de manière jointe. Enfin, dans un dernier temps, nous proposons un plongement où des représentations spatiales de poses humaines sont (ré)organisées dans un espace latent en fonction de leurs relations temporelles.

Artificial intelligence is the scientific field which studies how to create machines that are capable of intelligent behaviour. Deep learning is a family of artificial intelligence methods based on neural networks. In recent years, deep learning has lead to groundbreaking developments in the image and natural language processing fields. However, in many domains, input data consists in neither images nor text documents, but in time series that describe the temporal evolution of observed or computed quantities. In this thesis, we study and introduce different representations for time series, based on deep learning models. Firstly, in the autonomous driving domain, we show that, the analysis of a temporal window by a neural network can lead to better vehicle control results than classical approaches that do not use neural networks, especially in highly-coupled situations. Secondly, in the gesture and action recognition domain, we introduce 1D parallel convolutional neural network models. In these models, convolutions are performed over the temporal dimension, in order for the neural network to detect -and benefit from- temporal invariances. Thirdly, in the human pose motion generation domain, we introduce 2D convolutional generative adversarial neural networks where the spatial and temporal dimensions are convolved in a joint manner. Finally, we introduce an embedding where spatial representations of human poses are sorted in a latent space based on their temporal relationships.