Spectro-imagerie et apprentissage profond : application à la détection de maladies de plantes

Spectral imaging and deep learning : application to plant disease detection

• Auteur / Autrice : Clément Douarre
• Direction : Laure Tougne, David Rousseau, Carlos Crispim-Junior
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 25/05/2021
• Etablissement(s) : Lyon
• Ecole(s) doctorale(s) : École doctorale en Informatique et Mathématiques de Lyon (Lyon ; 2009-....)
• Partenaire(s) de recherche : établissement opérateur d'inscription : Université Lumière (Lyon ; 1969-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'InfoRmatique en Images et Systèmes d'information (Ecully, Rhône)
• Jury : Président / Présidente : Christophe Godin
• Jury : Examinateurs / Examinatrices : Carlos Crispim-Junior, Anthony Gelibert
• Jury : Rapporteurs / Rapporteuses : Marie Chabert, Christelle Gée, Antoine Vacavant

Mots clés

Mots clés contrôlés

Agriculture

Technologies de l'information et de la communication

Imagerie hyperspectrale

Apprentissage profond

Mots clés libres

Apprentissage profond

Vision par ordinateur

Apprentissage comprimé

Imagerie hyperspectrale

Spectromètre imageur par tomographie

Deep learning

Computer vision

Compressed learning

Hyperspectral imaging

Computed tomography imaging spectrometer

Résumé

Cette thèse est le fruit d'une collaboration entre les laboratoires LIRIS et LARIS et l'entreprise Carbon Bee, un acteur français des technologies numériques pour l'agriculture. Carbon Bee développe une caméra couplée à un algorithme d'apprentissage profond à des fins de pulvérisation ciblée de produits phytosanitaires. Sont regroupés dans cette caméra plusieurs capteurs permettant de réaliser des acquisitions dans différentes gammes de longueurs d'onde. Nous y trouvons en particulier un capteur infrarouge ainsi qu'un capteur hyperspectral instantané peu étudié jusqu'alors : le spectromètre imageur par tomographie (Computed Tomography Imaging Spectrometer) en anglais, ou CTIS). Ce capteur permet une acquisition rapide d'une information spectrale riche mais qu'il est nécessaire de post-traiter par un algorithme de reconstruction pour la rendre interprétable par l'oeil humain. Dans ce travail, nous nous sommes intéressés à l'exploitation optimale des différents capteurs de cette caméra, pour un cas d'étude à fort intérêt agronomique: la détection de la tavelure du pommier. Nous nous sommes tout d'abord concentrés sur l'exploitation du signal produit par le CTIS, dans un cadre de classification d'images de feuilles saines et atteintes de lésions de tavelure. Nous avons développé une approche qui permet de s'affranchir de l'étape de reconstruction en conduisant un apprentissage directement dans l'espace brut des images CTIS, une démarche dite d'apprentissage comprimé. La conception d'une nouvelle architecture neuronale a permis d'obtenir des performances d'apprentissage supérieures à celles permises par la procédure classique, et ce en réduisant substantiellement les temps de calcul associés. Ces recherches ont par ailleurs mené au développement de plusieurs nouveaux simulateurs d'images permettant de pallier le manque d'images réelles annotées, une difficulté prégnante dans le domaine de l'apprentissage profond, et en particulier lors de l'étude de nouveaux systèmes d'imagerie.Les travaux portant sur le CTIS ayant été menés à l'échelle de la feuille de pommier individuelle, nous nous sommes par la suite focalisés sur un contexte plus exigeant, proche des situations industrielles rencontrées par Carbon Bee. Nous avons cherché à optimiser des détections de lésions de tavelure menées au niveau du pixel dans des images infrarouges représentant des canopées de feuilles, et ce avec un nombre restreint de données annotées. A cette fin, nous avons développé plusieurs simulateurs d'images inspirés des derniers développements dans la matière en sciences végétales. Nous avons en particulier conçu un simulateur de canopées dont les images ont permis de substantiellement réduire la quantité de données réelles annotées nécessaire pour mener à bien une segmentation dans ce contexte.Enfin, la présence au sein de la caméra de plusieurs capteurs aux résolutions spatiales et spectrales différentes ouvrait la voie à l'utilisation conjointe des informations qu'ils fournissaient, un procédé connu sous le nom de fusion de données. Nous avons exploré plusieurs pistes de travail dans ce cadre.

This thesis is the result of a collaboration between the LIRIS and LARIS laboratories and Carbon Bee, a French company focused on developing digital technology for technology for agriculture. Carbon Bee develops a camera coupled with a deep learning algorithm in order to conduct spot spraying of crop protection products. This camera contains several sensors which allow for acquisitions in different wavelength ranges. It includes in particular an infrared sensor along with a snapshot hyperspectral spectrometer seldom studied until now : the Computed Tomography Imaging Spectrometer (CTIS). This sensor allows for a fast acquisition of rich spectral information. However, it is necessary to post-process this information via a reconstruction algorithm to make it understandable to the human eye. In this work, we have taken interest in the optimal use of these sensors for a case study with a high agronomic impact : the detection of apple scab.We focused at first on the analysis of the CTIS signal in the context of a binary classification between images of healthy and diseased leaves. We developed a procedure which allowed to bypass the reconstruction algorithm by training a neural network directly on raw CTIS images, an approach known as compressed learning. Using a novel neural architecture allowed us to achieve a classification performance higher than the one obtained following the classical reconstruction pipeline, while substantially reducing the related training and inference times. This study led to the development of several novel image simulators which allowed to compensate for the low number of annotated images, an oft-encountered hurdle in deep learning studies, especially when working with a new imaging system.While the work we have conducted on the CTIS images was carried out at the leaf scale, we afterward focused on a more demanding context, closer to the industrial challenges faced by Carbon Bee. We strove to improve scab detection at a pixel level in infrared images of leaf canopies ; what is more, with a limited quantity of annotated data. For this purpose, we developed several image simulators inspired by the latest trends in the plant sciences domain. In particular, we designed a canopy image simulator whose images enabled us to considerably reduce the number of annotated images necessary to conduct a segmentation in this context.Finally, the presence of several sensors in the camera paved the way to the combination of the information that they gathered, a process known as data fusion. We have explored several pathways within this framework.