Super résolution pour des séries d'images multi-modales satellites du vignoble.

par Anaïs Gastineau

Projet de thèse en Mathématiques appliquées et calcul scientifique

Thèses en préparation à Bordeaux , dans le cadre de Mathématiques et Informatique , en partenariat avec IMB - Institut de Mathématiques de Bordeaux (laboratoire) et de Image Optimisation et Probabilités (equipe de recherche) depuis le 21-09-2018 .


  • Résumé

    Contexte : La cartographie des maladies de la vigne est un enjeu important, tant sur le plan économique que de santé publique, d'abord car elle permet d'envisager une réduction des apports de produits phytopharmaceutiques, en appliquant les traitements seulement là où ils sont nécessaires. De plus, dans le cas particulier de maladies soumises à déclaration obligatoire, cette cartographie facilite mise en place de mesures de prophylaxie. Le développement inquiétant des maladies de la vigne et l'interdiction d'utilisation de molécules actives situent ces enjeux parmi les questions de recherche prioritaires. Des travaux de recherche sont en cours sur la détection des maladies de la vigne à l'échelle de l'exploitation à l'aide de moyens déployés sur drone ou par imagerie embarquée. Ces moyens opèrent sur des images monodates et ne permettent pas encore de discriminer avec précision les différentes maladies qui expriment des symptômes semblables mais avec une dynamique temporelle différente. Pour des questions de cout de déploiement, il est difficilement envisageable de mettre en œuvre ces moyens pour conduire la lutte à l'échelle d'une appellation entière. Sujet : Les satellites Sentinel 2 offrent une alternative d'intérêt grâce à une large couverture à haute fréquence temporelle (5 jours) avec des images gratuites. Cela permet d'envisager le développement de services de télédétection à l'échelle régionale et à bas cout. Pour proposer de tels services, il reste plusieurs verrous à lever. Le principal concerne la résolution spatiale, Sentinel-2 offrant une résolution d'au mieux 10m par pixel, ce qui semble insuffisant en particulier pour les petites parcelles. Une approche de super résolution s'appuyant sur la disponibilité de plusieurs images dans un intervalle de temps resserré est de nature à améliorer la situation.  La thèse portera sur l'élaboration de stratégies de super résolution destinée à des images satellitaires Sentinel-2 du vignoble. Plusieurs jeux de données de références sont déjà disponibles, en particulier, des campagnes aériennes à très haute résolution sur le château Luchey Halde et les images Sentinel-2 correspondantes. D'autres données seront issues de la collaboration entre l'UMR IMS, l'UMR SAVE de l'INRA et l'Institut Français de la Vigne (membres de l'UMT SEVEN sur les maladies du vignoble). Sur un plan méthodologique, nous nous intéresserons aux méthodes par patchs ayant fait l'objet de contributions des équipes d'IMS et d'IMB [1-3]. Différentes stratégies de régularisation non locale seront exploitées et un effort particulier portera sur le choix des métriques utilisées pour la comparaison des patchs (euclidienne, Mahalanobis). Il s'agira notamment d'étudier le lien possible avec les méthodes basées modèles de mélanges [4-6] et les approches patchs. On proposera des algorithmes rapides pour résoudre les problèmes considérés. On apportera une attention particulière aux preuves de convergence de ces algorithmes, ainsi qu'à l'étude de leurs vitesses. Il s'agit d'adapter les outils d'optimisation convexe non lisse à ces nouveaux modèles, éventuellement non convexes. Enfin, on s'intéressera au cas de données multi-modales afin d'enrichir les modèles précédents. Références : [1] C. Sutour, C.-A. Deledalle et J.-F. Aujol, “Adaptive regularization of the NL-means : Application to image and video denoising”, IEEE Transactions on image processing, vol. 23(8) : 3506-3521, 2014. [2] M.Hidane, M. El Gheche, J.-F. Aujol, Y. Berthoumieu, C.-A. Deledalle, “Image Zoom Completion”, IEEE Transaction on Image Processing, 25(8): 3505-3517, 2016. [3] M. El Gheche, J.-F. Aujol, Y. Berthoumieu, C.-A. Deledalle, “Texture Reconstruction Guided by the Histogram of a High-Resolution Patch”, IEEE Transactions on Image Processing, 2017 – Sous presse. [4] M. Niknejad, H. Rabbani, M. Babaie-Zadeh, “Image Restoration Using Gaussian Mixture Models With Spatially Constrained Patch Clustering,” IEEE Transactions on Image Processing, Volume: 24, Issue: 11, 2015. [5] D. Zoran and Y. Weiss, “From learning models of natural image patches to whole image restoration”, in ICCV (D. N. Metaxas, L. Quan, A. Sanfeliu, and L. J. V. Gool, eds.), pp. 479–486, IEEE, 2011. [6] G. Yu, G. Sapiro, and S. Mallat, “Solving inverse problems withpiecewise linear estimators: From gaussian mixture models to structured sparsity”, IEEE Trans. on Image Processing, vol. 21, no. 5, pp. 2481–2499, 2012. Contacts : Jean-Francois.Aujol@math.u-bordeaux.fr, yannick.berthoumieu@ims-bordeaux.fr, christian.germain@ims-bordeaux.fr

  • Titre traduit

    Super-resolution strategy for set of multi-modal satellite images of vineyards.


  • Résumé

    Context : Mapping vine diseases is an important issue, both economically and in terms of public health, since it can be the first step to reduce pesticides application. The worrying development of vine diseases and the ban on the use of active molecules place these issues among the most relevant research question. Current works on vine diseases detection operate at the farm level and are focused on drone or airplane remote sensing. They use monodate images and cannot discriminate accurately diseases that express similar symptoms but with a different temporal dynamics. Besides considering the image acquisition cost, it would be difficult to implement these solutions at the scale of a wine region. Subject: Sentinel 2 satellites offer a wide coverage with high frequency free images. This makes it possible to consider the development of remote sensing services on a regional scale at low cost. To achieve such services, there are still several issues to solve. The main one concerns the spatial resolution, Sentinel 2 satellites best resolution being 10m per pixel, which seems insufficient especially for small vine plots. A super-resolution approach based on the availability of multiple images in a tight time interval is likely to improve the situation. The internship will focus on developing a super-resolution strategy for Sentinel-2 images of vineyards. Several datasets of references are already available, in particular, very high resolution aerial images of a vineyard, combined with the corresponding Sentinel-2 data. Other data will come from the collaboration between IMS Lab, INRA and the French Institute of Vine. On a methodological level, we will focus on patch methods that have been the subject of various contributions from IMS and IMB [1-3]. Strategies of non-local regularization will be tested and a special effort will be dedicated to the choice of the metrics used for the comparison of patches (Euclidean, Mahalanobis). This will include studying the possible link between methods based on mixture models [4-6] and patch approaches. References : [1] C. Sutour, C.-A. Deledalle et J.-F. Aujol, “Adaptive regularization of the NL-means : Application to image and video denoising”, IEEE Transactions on image processing, vol. 23(8) : 3506-3521, 2014. [2] M.Hidane, M. El Gheche, J.-F. Aujol, Y. Berthoumieu, C.-A. Deledalle, “Image Zoom Completion”, IEEE Transaction on Image Processing, 25(8): 3505-3517, 2016. [3] M. El Gheche, J.-F. Aujol, Y. Berthoumieu, C.-A. Deledalle, “Texture Reconstruction Guided by the Histogram of a High-Resolution Patch”, IEEE Transactions on Image Processing, 2017 – Sous presse. [4] M. Niknejad, H. Rabbani, M. Babaie-Zadeh, “Image Restoration Using Gaussian Mixture Models With Spatially Constrained Patch Clustering,” IEEE Transactions on Image Processing, Volume: 24, Issue: 11, 2015. [5] D. Zoran and Y. Weiss, “From learning models of natural image patches to whole image restoration”, in ICCV (D. N. Metaxas, L. Quan, A. Sanfeliu, and L. J. V. Gool, eds.), pp. 479–486, IEEE, 2011. [6] G. Yu, G. Sapiro, and S. Mallat, “Solving inverse problems withpiecewise linear estimators: From gaussian mixture models to structured sparsity”, IEEE Trans. on Image Processing, vol. 21, no. 5, pp. 2481–2499, 2012. Contacts : Jean-Francois.Aujol@math.u-bordeaux.fr, yannick.berthoumieu@ims-bordeaux.fr, christian.germain@ims-bordeaux.fr