Fusion de données multimodales par approximations tensorielles couplées de rang faible

Multimodal data fusion by coupled low-rank tensor approximations

• Auteur / Autrice : Clémence Prévost
• Direction : David Brie, Konstantin Usevich
• Type : Thèse de doctorat
• Discipline(s) : Automatique, Traitement du signal et des images, Génie informatique
• Date : Soutenance le 22/10/2021
• Etablissement(s) : Université de Lorraine
• Ecole(s) doctorale(s) : École doctorale IAEM Lorraine - Informatique, Automatique, Électronique - Électrotechnique, Mathématiques de Lorraine (1992-....)
• Partenaire(s) de recherche : Laboratoire : Centre de recherche en automatique (Nancy)
• Jury : Président / Présidente : Jean-Yves Tourneret
• Jury : Examinateurs / Examinatrices : David Brie, Konstantin Usevich, Tülay Adali, Rémy Boyer, Mariya Ishteva, Alain Richard
• Jury : Rapporteur / Rapporteuse : Tülay Adali, Rémy Boyer

Mots clés

Mots clés contrôlés

Traitement du signal -- Techniques numériques

Approximations de rang faible

Décomposition (méthode mathématique)

Imagerie hyperspectrale

Fusion, Méthode

Mots clés libres

Modèles de rang faible

Fusion de données

Super-Résolution hyperspectrale

Décompositions tensorielles

Low-Rank models

Data fusion

Hyperspectral super-Resolution

Tensor decompositions

Résumé

Grâce au développement de nouvelles modalités, de plus en plus de signaux sont collectés chaque jour. Ainsi, il est fréquent que différents signaux renferment des informations sur un même phénomène physique. Cependant, un seul signal peut ne contenir que des informations partielles, d’où l’émergence de la fusion de données multimodales pour dépasser cette limitation. La fusion de données est définie comme le traitement conjoint de signaux issus de différentes modalités. Son but est d’exploiter à plein les capacités de chaque modalité à extraire du savoir sur le phénomène d’intérêt, tout en mettant en lumière des informations supplémentaires issues de la fusion. Cependant, dû aux interactions complexes entre les différentes modalités, dresser un tableau des avantages des modèles de fusion et de leurs limites par rapport au traitement séparé est une tâche complexe. Dans certains domaines tels que l’imagerie biomédicale ou la télédétection, les signaux observés sont des cubes de données appelés tenseurs ; ainsi, il est possible d’envisager des modèles de fusion tensorielle. En effet, la modélisation tensorielle de rang faible permet de préserver la structure des observations tout en jouissant des propriétés d’unicité des décompositions de tenseurs. Dans cette thèse, on s’intéresse à un problème de reconstruction d'un tenseur à haute résolution à partir d’observations tensorielles faiblement résolues. En particulier, le problème de super-résolution hyperspectrale (HSR) vise à reconstruire un tenseur à partir de deux versions dégradées : tandis que l’une est faiblement résolue dans deux modes spatiaux, la seconde est faiblement résolue dans le troisième mode spectral. Des approches tensorielles ont été récemment proposées, sous l’hypothèse d’une décomposition tensorielle de rang faible du tenseur à haute résolution. Les premiers travaux à exploiter cette hypothèse se basent sur la décomposition canonique polyadique (CP) et ont donné lieu à de nombreuses méthodes tensorielles de reconstruction, incluant ce travail. La première partie de cette thèse est dédiée au développement d’algorithmes tensoriels pour le problème HSR. Dans le Chapitre 2, nous proposons une reformulation sous forme d’une décomposition de Tucker couplée, ainsi que deux algorithmes analytiques basés sur la décomposition en valeurs singulières d’ordre supérieur. Les simulations illustrent des performances compétitives au regard des méthodes de l'état de l'art, avec un temps de calcul réduit. Le Chapitre 3 utilise un modèle de variabilité spectrale. Le problème de reconstruction est reformulé grâce à une décomposition bloc-termes. Les facteurs de la décomposition sont contraints à être positifs afin de garantir leur interprétabilité physique dans un modèle de mélange. Ainsi, cette approche propose une solution conjointe au problème HSR et au problème de démélange spectral. La seconde partie de cette thèse consiste en l’étude des performances statistiques des modèles tensoriels couplés. Cette partie vise à évaluer l’efficacité de certains algorithmes présentés à la première partie. Dans le Chapitre 4, on considère les bornes de Cramér-Rao sous contraintes (CCRB) pour des modèlesCP couplés. L’expression de la matrice d’information de Fisher est fournie dans deux scénarios, selon que i) l’on considère le problème de reconstruction totalement couplé seulement, ou ii) l’on cherche à comparer les performances des modèles totalement couplé, partiellement couplé et découplé. L’efficacité asymptotique des algorithmes CP existants est également illustrée.Le Chapitre 5 considère un problème d’estimation non-standard dans lequel les contraintes sur les paramètres déterministes du modèle impliquent un paramètre aléatoire. Dans ce contexte, la CCRB standard est non-informative. De fait, on introduit une nouvelle borne de Cramér-Rao sous contraintes aléatoires (RCCRB). Son intérêt est illustré au moyen d’un modèle bloc-termes couplé avec incertitudes.

Due to the recent emergence of new modalities, the amount of signals collected daily has been increasing. As a result, it frequently occurs that various signals provide information about the same phenomenon. However, a single signal may only contain partial information about this phenomenon. Multimodal data fusion was proposed to overcome this issue. It is defined as joint processing of datasets acquired from different modalities. The aim of data fusion is to enhance the capabilities of each modality to express their specific information about the phenomenon of interest; it is also expected from data fusion that it brings out additional information that would be ignored by separate processing. However, due to the complex interactions between the modalities, understanding the advantages and limits of data fusion may not be straightforward.In a lot of applications such as biomedical imaging or remote sensing, the observed signals are three-dimensional arrays called tensors, thus tensor-based data fusion can be envisioned. Tensor low-rank modeling preserves the multidimensional structure of the observations and enjoys interesting uniqueness properties arising from tensor decompositions. In this work, we address the problem of recovering a high-resolution tensor from tensor observations with some lower resolutions.In particular, hyperspectral super-resolution (HSR) aims at reconstructing a tensor from two degraded versions. While one is degraded in two (spatial) modes, the second is degraded in the third (spectral) mode. Recently, tensor-based approaches were proposed for solving the problem at hand. These works are based on the assumption that the target tensor admits a given low-rank tensor decomposition. The first work addressing the problem of tensor-based HSR was based on a coupled canonical polyadic (CP) decomposition of the observations. This approach gave rise to numerous following reconstruction methods based on coupled tensor models, including our work.The first part of this thesis is devoted to the design of tensor-based algorithms for solving the HSR problem. In Chapter 2, we propose to formulate the problem as a coupled Tucker decomposition. We introduce two simple but fast algorithms based on the higher-order singular value decomposition of the observations. Our experiments show that our algorithms have a competitive performance with state-of-the-art tensor and matrix methods, with a lower computational time. In Chapter 3, we consider spectral variability between the observations. We formulate the reconstruction problem as a coupled block-term decomposition. We impose non-negativity of the low-rank factors, so that they can be incorporated into a physically-informed mixing model. Thus the proposed approach provides a solution to the joint HSR and unmixing problems.The second part of this thesis adresses the performance analysis of the coupled tensor models. The aim of this part is to assess the efficiency of some algorithms introduced in the first part. In Chapter 4, we consider constrained Cramér-Rao lower bounds (CCRB) for coupled tensor CP models. We provide a closed-form expression for the constrained Fisher information matrix in two scenarios, whether i) we only consider the fully-coupled reconstruction problem or ii) if we are interested in comparing the performance of fully-coupled, partially-coupled and uncoupled approaches. We prove that the existing CP-based algorithms are asymptotically efficient. Chapter 5 addresses a non-standard estimation problem in which the constraints on the deterministic model parameters involve a random parameter. We show that in this case, the standard CCRB is a non-informative bound. As a result, we introduce a new randomly constrained Cramér-Rao bound (RCCRB). The relevance of the RCCRB is illustrated using a coupled block-term decomposition model accounting for random uncertainties.