Pré-traitements des images d’une caméra compacte de type Spatio-spectrale pour la construction de cube hyperspectral en vue de l’extraction spectrale d’une scène agricole

Pre-processing of agricultural images acquired by a compact spatio-spectral camera to design the hyperspectral datacube towards the estimation of spectra

• Auteur / Autrice : Pierre Chatelain
• Direction : Gilles Roussel, Gilles Delmaire
• Type : Thèse de doctorat
• Discipline(s) : Sciences et technologies de l'information et de la communication : Traitement du signal et des images
• Date : Soutenance le 14/11/2023
• Etablissement(s) : Littoral
• Ecole(s) doctorale(s) : École doctorale Sciences, technologie et santé (Amiens)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique, signal et image de la Côte d'Opale (Calais, Pas de Calais) - Laboratoire d'Informatique Signal et Image de la Côte d'Opale
• Partenaire(s) de recherche : financeur : Fonds européen de développement régional - Pôle métropolitain de la Côte d'Opale
• Jury : Président / Présidente : Ludovic Macaire
• Jury : Examinateurs / Examinatrices : Gilles Roussel, Gilles Delmaire, Danielle Nuzillard, David Rousseau, Sébastien Bourguignon, Guillaume Caron
• Jury : Rapporteur / Rapporteuse : Danielle Nuzillard, David Rousseau

Mots clés

Mots clés contrôlés

Imagerie (technique)

Traitement d'images -- Techniques numériques

Spectroscopie

Imagerie hyperspectrale

Mots clés libres

Réseau de filtres de Fabry-Perot

Agriculture de précision

Déconvolution

Homographie

Extraction de spectres purs

Filtres de Fabry-Perot

Hyperspectral imaging

Fabry-Perot filter array

Precision agriculture

Deconvolution

Homography

Pur pixel extraction

Fabry-Perot’ filters

Résumé

L’imagerie hyperspectrale compacte constitue depuis peu un sujet d’intérêt croissant de par le nombre de longueurs d’ondes extractibles. Parmi les caméras d’intérêt, nous disposons d’un modèle de caméra, dite spatio-spectrale qui nécessite un balayage précis d’une scène statique. Cependant, son utilisation en vue de constituer un cube de données engendre des artéfacts de différente nature. Le premier défaut provient de la vision oblique de certaines longueurs d’onde de la scène, ce quigénère des défauts de décalage spatiaux entre les plans spectraux. A cet effet, nous avons développé des méthodes de recalage spatial entre plans spectraux, basés soit sur une collection d’homographies, soit sur une homographie structurée par un modèle. Ces techniques ont permis une réduction significative de ces décalages spectraux. Le second défaut provient de la conception de son capteur qui utilise un réseau de filtres de Fabry-Perot à hauteur variable. Cette technologie introduit des harmoniques dont la longueur d’onde évolue en fonction de l’angle principal des rayons. Nous avons donc développé un modèle capable de prendre en compte ces fluctuations et proposé une méthode inverse capable de restaurer un spectre à l’échelledu pixel. Les résultats expérimentaux montrent que nos méthodes apportent une amélioration significative des spectres au niveau d’un pixel. Dans une dernière partie, nous avons montré que les spectres issus du cube de données étaient pour certains cisaillés, et nous avons proposé d’extraire des patchs de spectres uniformes garantissent un spectre stable sur une zone réduite. Par applications des méthodes robustes d’extraction de spectres, nous avons pu restaurer le spectre pur d’une feuille à l’échelle d’une portion de champ. Nous avons ainsi pu retrouver les pics de réflectance de la chlorophylle et le red-edge.

The miniaturization of Hyperpspectral camera has opened a new path to capture lots of spectral information. Among the interesting cameras, we have got a spatio-spectral camera which requires an accurate scanning of a static scene. However, its use towards the design of a datacube provide artifacts of different kinds.The first one comes from the oblique view of some wavelengths from the scene, which generates spatial shifts between spectral layers. To this end, we develop spatial registration techniques between spectral layers based on either a collection of homographies, or on a structured model-based homography. These methods have enabled a drastic reduction of these spatial shifts.The second drawback comes from the design of the sensor which uses an array of Fabry-Perot filters with variable length. This technology produces harmonics whose wavelengths evolve according to the chief ray angle. We then develop a model able to take into account these changes and propose an inverse method which brings a significant improvement of the spectra at the pixel level.In the last part, we noticed that spectra extracted from the datacube were for some pixels, piece-wise splitted, so we propose to extract homogeneous spectra at the patch scale. When applying robust spectrum extraction methods, we succeed in retrieving the pure spectrum of leaves at the scale of part of the field. We were able to observe the reflectance peaks for both chlorophyll and red-edge contents.