Apprentissage profond et géométrie de l'information pour la classification de signaux temporels

Deep Learning and Information Geometry for Time-Series Classification

• Auteur / Autrice : Daniel Brooks
• Direction : Matthieu Cord, Olivier Schwander
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 03/07/2020
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris
• Partenaire(s) de recherche : Laboratoire : LIP6 (1997-....)
• Jury : Président / Présidente : Yannick Berthoumieu
• Jury : Examinateurs / Examinatrices : Frédéric Barbaresco, Hichem Sahbi
• Jury : Rapporteurs / Rapporteuses : Marco Congedo, Florence Tupin

Mots clés

Mots clés contrôlés

Radar Doppler

Riemann, Variétés de

Réseaux neuronaux (informatique)

Apprentissage automatique

Mots clés libres

Apprentissage automatique

Réseaux de neurones

Géométrie de l'information

Variété riemannienne

Micro-Doppler radar

Classification supervisée

Machine learning

Neural networks

Information geometry

Résumé

L’apprentissage automatique, et en particulier l’apprentissage profond, unit un arsenal d’outillages puissants pour modeler et étudier les distributions statistiques sous-jacentes aux données, permettant ainsi l’extraction d’informations sémantiquement valides et interprétables depuis des séquences tabulaires de nombres par ailleurs indigestes à l’œil humain. Bien que l’apprentissage fournisse une solution générique à la plupart des problèmes, certains types de données présentent une riche structure issue de phénomènes physiques: les images ont la localité spatiale, les sons la séquentialité temporelle, le radar la structure temps-fréquence. Il est à la fois intuitif et démontrable qu’il serait bénéfique d’exploiter avec astucieuse ces formations fondatrices au sein même des modèles d’apprentissage. A l’instar des architectures convolutives pour les images, les propriétés du signal peuvent être encodées et utilisées dans un réseau de neurones adapté, avec pour but l’apprentissage de modèles plus efficaces, plus performants. Spécifiquement, nous œuvrerons à intégrer dans la conception nos modèles profonds pour la classification de séries temporelles des sur leurs structures sous-jacentes, à savoir le temps, la fréquence, et leur nature proprement complexe. En allant plus loin dans une veine similaire, l’on peut s’atteler à la tâche d’étudier non pas le signal en tant que tel, mais bel et bien la distribution statistique dont il est issu. Dans ce scénario, les familles Gaussiennes constituent un candidat de choix. Formellement, la covariance des vecteurs de données caractérisent entièrement une telle distribution, pour peu qu’on la considère, à peu de frais, centrée; le développement d’algorithmes d’apprentissage, notamment profonds, sur des matrices de covariance, sera ainsi un thème central de cette thèse. L’espace des distributions diverge de manière fondamentale des espaces Euclidiens plats; il s’agit en fait de variétés Riemanniennes courbes, desquelles il conviendra de respecter la géométrie mathématique intrinsèque. Spécifiquement, nous contribuons à des architectures existantes par la création de nouvelles couches inspirées de la géométrie de l’information, notamment une couche de projection sensible aux données, et une couche inspirée de l’algorithme classique de la Batch Normalization. La validation empirique de nos nouveaux modèles se fera dans trois domaines différents: la reconnaissance d’émotions par vidéo, d’action par squelettes, avec une attention toute particulière à la classification de drones par signal radar micro-Doppler. Enfin, nous proposerons une librairie PyTorch aidant à la reproduction des résultats et la facilité de ré-implémentationdes algorithmes proposés.

Machine Learning, and in particular Deep Learning, is a powerful tool to model and study the intrinsic statistical foundations of data, allowing the extraction of meaningful, human-interpretable information from otherwise unpalatable arrays of floating points. While it provides a generic solution to many problems, some particular data types exhibit strong underlying physical structure: images have spatial locality, audio has temporal sequentiality, radar has time-frequency structure. Both intuitively and formally, there can be much to gain in leveraging this structure by adapting the subsequent learning models. As convolutional architectures for images, signal properties can be encoded and harnessed within the network. Conceptually, this would allow for a more intrinsic handling of the data, potentially leading to more efficient learning models. Thus, we will aim to use known structures in the signals as model priors. Specifically, we build dedicated deep temporal architectures for time series classification, and explore the use of complex values in neural networks to further refine the analysis of structured data. Going even further, one may wish to directly study the signal’s underlying statistical process. As such, Gaussian families constitute a popular candidate. Formally, the covariance of the data fully characterizes such a distribution; developing Machine Learning algorithms on covariance matrices will thus be a central theme throughout this thesis. Statistical distributions inherently diverge from the Euclidean framework; as such, it is necessary to study them on the appropriate, curved Riemannian manifold, as opposed to a flat, Euclidean space. Specifically, we contribute to existing deep architectures by adding normalizations in the form of data-aware mappings, and a Riemannian Batch Normalization algorithm. We showcase empirical validation through a variety of different tasks, including emotion and action recognition from video and Motion Capture data, with a sharpened focus on micro-Doppler radar data for Non-Cooperative Target Recognition drone recognition. Finally, we develop a library for the Deep Learning framework PyTorch, to spur reproducibility and ease of use.