Apports de l'Apprentissage Profond pour la simulation d'images SAR

Contributions of Deep Learning to SAR image simulation

• Auteur / Autrice : Nathan Letheule
• Direction : Elise Colin, Flora Weissgerber, Sylvain Lobry
• Type : Thèse de doctorat
• Discipline(s) : Sciences de l'information et de la communication
• Date : Soutenance le 11/04/2024
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Electrical, optical, bio : physics and engineering (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Référent : Université Paris-Saclay. Faculté des sciences d’Orsay (Essonne ; 2020-....)
• Partenaire(s) de recherche : graduate school : Université Paris-Saclay. Graduate School Sciences de l’ingénierie et des systèmes (2020-….)
• Partenaire(s) de recherche : Laboratoire : Office national d'études et recherches aérospatiales (France). Département Traitement de l’Information et Systèmes (2017-....)
• Jury : Président / Présidente : Alin Achim
• Jury : Examinateurs / Examinatrices : Samia Ainouz, Guillaume Quin, Clément Rambour
• Jury : Rapporteurs / Rapporteuses : Alin Achim, Samia Ainouz

Mots clés

Mots clés contrôlés

Apprentissage profond

Radar à antenne synthétique

Télédétection

Simulation, Méthodes de

Mots clés libres

SAR (Synthetic Aperture Radar)

Simulation

Apprentissage profond

Segmentation

Réseaux génératifs

CGAN

Transformer

Réseaux de diffusion

SAR (Synthetic Aperture Radar)

Simulation

Deep Learning

Segmentation

Generative networks

CGAN

Transformer

Diffusion networks

Résumé

La simulation est un outil précieux pour de nombreuses applications d'imagerie SAR, cependant, les images simulées de grandes tailles ne sont pas encore assez réalistes pour tromper un expert en images radar. Cette thèse propose d'évaluer dans quelle mesure l'utilisation des avancées récentes en matière d'apprentissage profond peut permettre d'améliorer la qualité des simulations. Dans un premier temps, nous proposons de définir une méthode de mesure de réalisme des images SAR simulées en les comparant à des images réelles. Les métriques ainsi établies serviront ensuite à l'évaluation des résultats de simulation. Dans un second temps, deux cadres de simulation basés sur l'apprentissage profond sont proposés, avec des philosophies différentes. Le premier ne prend pas en compte la connaissance physique de l'imagerie, et propose d'apprendre la transformation d'une image optique vers une image radar à l'aide d'une architecture cGAN. Le second s'appuie sur un simulateur physique développé à l'Onera (EMPRISE), et utilise la génération automatique d'entrées à partir d'une segmentation sémantique d'une image optique de la scène, via l'apprentissage profond. Pour cette dernière piste prometteuse, une réflexion est menée sur la description de l'entrée et son impact sur le résultat final de simulation. Enfin, des pistes d'enrichissement par apprentissage profond des images générées par le simulateur physique seront proposées, notamment à travers des réseaux de diffusion, et des approches text-to-image.

Simulation is a valuable tool for many SAR imaging applications, however, large simulated images are not yet realistic enough to fool a radar image expert. This thesis proposes to evaluate to what extent the use of recent advances in deep learning can improve the quality of simulations. As a first step, we propose to define a method for measuring the realism of simulated SAR images by comparing them with real images. The resulting metrics will then be used to evaluate simulation results. Secondly, two simulation frameworks based on deep learning are proposed, with different philosophies. The first does not take into account physical knowledge of the imagery, and proposes to learn the transformation of an optical image into a radar image using a cGAN architecture. The second is based on a physical simulator developed at Onera (EMPRISE), and uses automatic input generation from semantic segmentation of an optical image of the scene, via deep learning. For this last promising avenue, we are looking into the description of the input and its impact on the final simulation result. Finally, we will be proposing ways of enriching the images generated by the physical simulator using deep learning, in particular through diffusion networks and text-to-image approaches.