Méthodes d'ensemble sur l'espace des matrices de covariance : application à la classification de scènes de télédétection et de séries temporelles multivariées

Ensemble learning methods on the space of covariance matrices : application to remote sensing scene and multivariate time series classification

• Auteur / Autrice : Sara Akodad
• Direction : Christian Germain
• Type : Thèse de doctorat
• Discipline(s) : Automatique, Productique, Signal et Image, Ingénierie cognitique
• Date : Soutenance le 08/12/2021
• Etablissement(s) : Bordeaux
• Ecole(s) doctorale(s) : École doctorale des sciences physiques et de l’ingénieur (Talence, Gironde)
• Partenaire(s) de recherche : Laboratoire : Laboratoire de l'intégration du matériau au système (Talence, Gironde)
• Jury : Président / Présidente : Florence Tupin
• Jury : Examinateurs / Examinatrices : Christian Germain, Florence Tupin, Abdourrahmane Mahamane Atto, Mohammed El Hassouni, Jean-Baptiste Féret, Lionel Bombrun
• Jury : Rapporteurs / Rapporteuses : Abdourrahmane Mahamane Atto, Mohammed El Hassouni

Mots clés

Mots clés contrôlés

Apprentissage supervisé (intelligence artificielle)

Statistiques d'ordre

Ensembles de niveaux, Méthodes d'

Séries chronologiques

Télédétection

Mots clés libres

Classification supervisée

Télédétection

Séries temporelles multivariées

Méthodes d'ensembles

Statistiques du second ordre

Sentinel 1 & 2

Supervised classification

Remote sensing

Multivariate time series

Ensemble learning

Second-Order statistics

Sentinel 1 & 2

Résumé

Devant le succès grandissant des statistiques du second ordre dans les problèmes de classification, les travaux de cette thèse se sont orientés vers le développement de méthodes d’apprentissage sur variétés. En effet, les matrices de covariance sont des matrices symétriques définies positives qui vivent dans un espace non Euclidien. Il est donc nécessaire de réadapter les outils classiques de la géométrie Euclidienne pour manipuler ce type de données. Pour ce faire, nous avons proposé d’exploiter la métrique log-Euclidienne. Celle-ci permet de projeter l’ensemble des matrices de covariance sur un plan tangent à la variété défini à un point de référence, classiquement choisi égal à la matrice identité, suivi d’une étape de vectorisation pour obtenir la représentation log-Euclidienne. Sur ce plan tangent, il est possible de définir des modèles paramétriques Gaussien ainsi que des modèles de mélange de Gaussiennes. Néanmoins, cette projection sur un unique plan tangent peut induire des distorsions. Afin de limiter cela, nous avons proposé un modèle de GMM composé de plusieurs plans tangents, où les points de référence sont définis par les centres de chaque cluster.Au vu de la réussite remportée par les réseaux de neurones, en particulier les réseaux de neurones convolutifs (CNN), nous avons proposé deux approches hybrides d’apprentissage par transfert basées sur la matrice de covariance calculée de façon locale et globale sur les sorties des couches convolutives d’un CNN. D’une part, l’approche locale s’appuie sur les matrices de covariance extraites localement sur les premières couches d’un CNN, qui sont ensuite encodées par les vecteurs de Fisher calculés sur leur représentation log-Euclidienne. Tandis que pour l’approche globale, une seule matrice de covariance est calculée sur les cartes de caractéristiques des couches profondes d’un CNN. De plus, afin de donner une plus grande importance aux objets d’intérêt présents dans les images, nous avons proposé d’utiliser une matrice de covariance pondérée par l’information de saillance. Par ailleurs, afin de tirer profit des aspects local et global, ces deux approches sont par la suite combinées dans une stratégie d’ensemble.D'autre part, la disponibilité des séries temporelles multivariées a suscité l’intérêt de la communauté de la télédétection et plus généralement du machine learning pour l’élaboration de nouvelles stratégies d'apprentissage pour la classification supervisée, notamment les méthodes basées sur le calcul de distance point à point entre les séries. Par ailleurs, deux séries appartenant à la même classe peuvent évoluer de façons différentes, ce qui peut induire des distorsions temporelles (translation, compression, dilatation, etc.). Pour s’affranchir de cela, le « warping » permet d’aligner les séries temporelles. Afin d’étendre cette approche pour des séries temporelles de matrices de covariance, tout en assurant l’invariance à la reparamétrisation des séries, nous nous sommes intéressés à la représentation TSRVF. Dans le même contexte, plusieurs méthodes d’ensemble ont été proposées dans la littérature, notamment le TCK, qui repose sur le calcul de similarité afin de classifier les séries temporelles. Nous avons proposé d’étendre cette stratégie aux matrices de covariance en introduisant l’approche SO-TCK qui s’appuie sur la représentation log-Euclidienne de ces matrices.Finalement, le dernier axe de cette thèse concerne la modélisation de trajectoires temporelles des signaux mesurés par les capteurs radar (Sentinel 1) et optique (Sentinel 2). En particulier, nous nous sommes intéressés au problème sylvosanitaire de la maladie de l’encre du châtaignier sur la forêt de Montmorency. Pour cela, nous avons développé des modèles de classification et de régression afin de prédire une note d’état sanitaire à partir de la matrice de covariance calculée sur les attributs radiométriques multitemporels.

In view of the growing success of second-order statistics in classification problems, the work of this thesis has been oriented towards the development of learning methods in manifolds. Indeed, covariance matrices are symmetric positive definite matrices that live in a non-Euclidean space. It is therefore necessary to adapt the classical tools of Euclidean geometry to handle this type of data. To do that, we have proposed to exploit the log-Euclidean metric. This latter allows to project the set of covariance matrices on a tangent plane to the manifold defined at a reference point, classically chosen equal to the identity matrix, followed by a vectorization step to obtain the log-Euclidean representation. On this tangent plane, it is possible to define parametric Gaussian models as well as Gaussian mixture models. Nevertheless, this projection on a single tangent plane can induce distortions. In order to overcome this limitation, we have proposed a GMM model composed of several tangent planes, where the reference points are defined by the centers of each cluster.In view of the success of neural networks, in particular convolutional neural networks (CNNs), we have proposed two hybrid transfer learning approaches based on the covariance matrix computed locally and globally on the CNN convolutional layers’ outputs. The local approach relies on the covariance matrices extracted locally on the first layers of a CNN, which are then encoded by the Fisher vectors computed on their log-Euclidean representation, while for the global approach, a single covariance matrix is computed on the feature maps of the CNN deep layers. Moreover, in order to give more importance to the objects of interest present in the images, we proposed to use a covariance matrix weighted by the saliency information. Furthermore, in order to take advantage of both local and global aspects, these two approaches are subsequently combined in an ensemble strategy.On the other hand, the availability of multivariate time series has aroused the interest of the remote sensing community and more generally of machine learning researchers for the development of new learning strategies dedicated to supervised classification. In particular, methods based on the calculation of point-to-point distance between series. Moreover, two series belonging to the same class can evolve in different ways, which can induce temporal distortions (translation, compression, dilation, etc.). To avoid this, warping methods allow to align the time series. In order to extend this approach to time series of covariance matrices, while ensuring invariance to the re-parametrization of the series, we were interested in the TSRVF representation. In the same context, several ensemble methods have been proposed in the literature, including TCK, which relies on similarity computation to classify time series. We have proposed to extend this strategy to covariance matrices by introducing the SO-TCK approach which relies on the log-Euclidean representation of such matrices.Finally, the last axis of this thesis concerns the modeling of temporal trajectories of signals measured by the radar (Sentinel 1) and optical (Sentinel 2) sensors. In particular, we are interested in the forestry problem of the chestnut ink disease in the Montmorency forest. For this purpose, we developed classification and regression models to predict a health status score from the covariance matrix computed on multi-temporal radiometric attributes.