Approches conjointes de modélisation et d'apprentissage pour l'imagerie hyperspectrale et la détection de changements

Joint modeling and learning approaches for hyperspectral imaging and changepoint detection

• Auteur / Autrice : Xiuheng Wang
• Direction : Cédric Richard
• Type : Thèse de doctorat
• Discipline(s) : Sciences pour l'ingénieur
• Date : Soutenance le 27/06/2024
• Etablissement(s) : Université Côte d'Azur
• Ecole(s) doctorale(s) : École doctorale Sciences fondamentales et appliquées (Nice ; 2000-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Joseph-Louis Lagrange (Nice, Alpes-Maritimes ; 2012-....)
• Jury : Président / Présidente : Gersende Fort
• Jury : Examinateurs / Examinatrices : Cédric Richard, Gersende Fort, Jean-Yves Tourneret, Arnaud Breloy, Geert Leus, Ricardo Augusto Borsoi
• Jury : Rapporteurs / Rapporteuses : Jean-Yves Tourneret, Arnaud Breloy

Mots clés

Mots clés contrôlés

Riemann, Variétés de

Problèmes inverses

Imagerie hyperspectrale

Apprentissage automatique

Physique -- Modèles mathématiques

Mots clés libres

Modélisation basée sur la physique

Apprentissage automatique

Images hyperspectrales

Problèmes inverses

Détection de changements

Variétés riemanniennes

Physics-based modeling

Machine learning

Hyperspectral images

Inverse problems

Changepoint detection

Riemannian manifolds

Résumé

À l'ère de l'intelligence artificielle, on observe un consensus croissant sur le fait que des solutions à des problèmes complexes de science et d'ingénierie nécessitent de nouvelles méthodologies qui peuvent associer des méthodes de modélisation physique à des techniques d'apprentissage automatique, en recourant à l'optimisation stochastique et aux réseaux neuronaux profonds. Cette thèse vise à étudier des méthodes permettant de combiner les avantages de la modélisation basée sur la physique et de l'apprentissage automatique, en accordant une attention particulière à deux questions importantes de traitement du signal : la résolution de problèmes inverses en imagerie hyperspectrale et la détection de changements dans des séries temporelles. La première partie de la thèse traite de l'apprentissage d'informations a priori dans une démarche orientée modèles pour la résolution de problèmes inverses en imagerie hyperspectrale. Tout d'abord, nous introduisons un algorithme Plug-and-Play pour la déconvolution des images hyperspectrales (HID). Plus précisément, nous décomposons le problème d'optimisation correspondant en deux sous-problèmes résolus itérativement, et apprenons les informations a priori profondes pour résoudre le sous-problème de débruitage aveugle à l'aide de réseaux neuronaux, et estimons les hyperparamètres à l'aide d'une mesure de la blancheur résiduelle. Dans un second temps, nous introduisons une méthode originale de fusion d'images hyperspectrales et multispectrales (HMIF). Elle s'appuie sur des réseaux neuronaux pour apprendre des informations a priori sur les images, à partir de données, dans le but de résoudre le problème d'optimisation en tenant compte de la variabilité entre les images. Nous proposons également une stratégie "zero-shot" pour apprendre l'a priori spécifique à l'image de manière non supervisée. La deuxième partie de la thèse se concentre sur l'apprentissage de séries temporelles en vue de détection de changements. Tout d'abord, nous proposons une méthode de détection de changements (CPD) utilisant une approche en ligne reposant sur des réseaux neuronaux et leur apprentissage en continu pour estimer directement le rapport des fonctions de densité des observations entre deux fenêtres temporelles glissantes. Ensuite, nous introduisons un algorithme non paramétrique pour la CPD en ligne dans le cas de signaux multi-variés. Nous fournissons des limites théoriques sur les taux de détection et de fausse alarme à l'aide d'un nouveau résultat sur la convergence non asymptotique de l'algorithme de gradient stochastique sur des variétés riemanniennes. Enfin, nous étendons cet algorithme à la CPD distribuée en ligne sur des signaux multi-variés sur graphes, et proposons une implémentation parallèle sur graphe. Ceci améliore considérablement la détection de changements survenant dans des communautés fortement connectées, inconnues, des réseaux.

In the era of artificial intelligence, there has been a growing consensus that solutions to complex science and engineering problems require novel methodologies that can integrate interpretable physics-based modeling approaches with machine learning techniques, from stochastic optimization to deep neural networks. This thesis aims to develop new methodological and applied frameworks for combining the advantages of physics-based modeling and machine learning, with special attention to two important signal processing tasks: solving inverse problems in hyperspectral imaging and detecting change points in time series. The first part of the thesis addresses learning priors in model-based optimization for solving inverse problems in hyperspectral imaging systems. First, we introduce a tuning-free Plug-and-Play algorithm for hyperspectral image deconvolution (HID). Specifically, we decompose the optimization problem into two iterative sub-problems, learn deep priors to solve the blind denoising sub-problem with neural networks, and estimate hyperparameters with a measure of the statistical whiteness of the residual. Second, we introduce an original hyperspectral and multispectral image fusion (HMIF) method. It leverages neural networks to learn image priors from data to solve the optimization problem accounting for inter-image variability. We also propose a zero-shot strategy to learn the image-specific priors in an unsupervised manner. The second part of the thesis focuses on modeling changes in data distribution and learning knowledge of time series signals to detect change points. First, we propose a change point detection (CPD) method using an online approach based on neural networks and continual learning to directly estimate the density ratio between current and reference windows of the data stream. Second, we introduce a non-parametric algorithm for online CPD in manifold-valued data and provide theoretical bounds on the detection and false alarm rate performances using a new result on the non-asymptotic convergence of the stochastic Riemannian gradient descent. Finally, we extend this algorithm to distributed CPD in streaming manifold-valued signals over graphs with a parallel implementation of a graph filter. This significantly improves the detection of change points in unknown communities of networks.