Compressive Sensing pour une caméra LiDAR 3D en mouvement

Compressive Sensing for a 3D-LiDAR camera in motion

• Auteur / Autrice : Constantin Desoindre
• Direction : Nicolas Riviere, Laurent Risser
• Type : Projet de thèse
• Discipline(s) : Astrophysique, Sciences de l'Espace, Planétologie
• Date : Inscription en doctorat le 01/10/2024
• Etablissement(s) : Toulouse, ISAE
• Ecole(s) doctorale(s) : École doctorale Sciences de lu2019univers, de lu2019environnement et de lu2019espace
• Partenaire(s) de recherche : Laboratoire : ISAE-ONERA PSI Physique Spatiale et Instrumentation
• Partenaire(s) de recherche : Equipe de recherche : ONERA/DOTA/SDU2E Département Optique et Techniques Associées

Mots clés

Mots clés libres

Traitement du signal

LiDAR 3D

Échantillonage compressé

Estimation du mouvement

Signal processing

3D-LiDAR

Compressive Sensing

Motion estimation

Résumé

Pour les applications de surveillance, l'imagerie à longue portée (>10 km) est nécessaire, car elle permet l'anticipation de menaces potentielles. L'identification d'objets requiert une bonne résolution latérale et télémétrique. Le maintien des performances de jour comme de nuit est aussi essentiel dans ce type d'applications. L'imagerie laser 3D « classique » répond déjà partiellement à ces objectifs. Par l'apport et la maitrise de sa propre source d'illumination, elle permet d'être peu sensible à l'éclairement environnant. Elle souffre néanmoins d'un manque de résolution latérale inhérent à la technologie qui impose des pixels détecteurs de grande taille et peu nombreux. Pour pallier cette difficulté, il a été démontré que le Compressive Sensing (CS) permet d'augmenter la résolution d'un capteur d'imagerie laser 3D. Cette technique d'imagerie permet de réduire le temps d'acquisition et l'impact sur le bilan de liaison par rapport à des méthodes plus classiques comme le balayage. Pour cela, le système optronique est modifié pour intégrer un composant optique de modulation spatiale de l'éclairement laser. L'idée du CS est qu'en supposant qu'un signal soit compressible, il est possible de le reconstruire exactement en observant quelques combinaisons linéaires de ce signal. Cependant, lorsqu'il existe un mouvement relatif entre la caméra et l'objet d'intérêt, les performances de reconstruction de l'image par cette technique se dégradent. Une méthode de reconstruction 3D utilisant le CS a été proposée à l'ONERA. Cette méthode estime le mouvement relatif caméra/objet en même temps que la scène 3D grâce à la méthode Large Deformation Diffeomorphic Metrics Mapping (LDDMM). Elle permet ainsi de préserver la topologie des objets reconstruit de la scène. LDDMM a été choisie en particulier pour sa robustesse. C'est, en effet, la seule méthode d'estimation du mouvement assurant d'obtenir un mouvement qui soit un difféomorphisme et dont le gradient peut être calculé analytiquement. D'autres méthodes existent néanmoins, comme par exemple les Diffeomorphic Demons, permettant des implémentations à plus faible latence en ajoutant une hypothèse simplificatrice à LDDMM. La reconstruction 3D d'objet en mouvement par CS repose aujourd'hui sur des extensions de méthodes de CS statique, appliquées dans un cadre qui sort des hypothèses prévues par la théorie, ce qui ne permet pas d'obtenir de garanties formelles de reconstruction. Par ailleurs, ces méthodes, tout comme les algorithmes que nous avons précédemment développés, ne permettent pas de traiter certains cas complexes liés à des scènes LiDAR 3D acquises en mouvement. Il est donc nécessaire de compléter les outils et méthodes de reconstruction actuels, autant sur le plan théorique que pratique, pour pouvoir appliquer ces algorithmes concrètement avec un cadre théorique le justifiant. L'objectif de la thèse est de définir une méthode robuste de reconstruction 3D par CS pour une caméra mono-pixel en mouvement. Pour cela, la démarche s'articule autour de 4 axes de recherche : I. Définir puis justifier théoriquement la méthode de reconstruction d'un objet en mouvement par CS, afin de déterminer des bornes sur l'erreur de reconstruction des objets de la scène imagée II. Adapter la méthode à des cas d'utilisation complexe (occlusions, apparitions d'objets dans le champ de vue) III. Choisir et valider des stratégies d'approximation judicieuses et parallélisables afin de diminuer la latence, ce qui est un prérequis au déploiement de la méthode dans un contexte opérationnel IV. Valider l'algorithme sur des données simulées dans un premier temps, puis sur des données réelles dans un second temps. Ainsi, la thèse permettra d'obtenir un cadre théorique et un algorithme robuste de traitement du signal pour le CS en mouvement. Elle permettra à terme de considérer l'intégration du système de traitement sur une plateforme embarquée, et d'imager des objets particulièrement rapides.

For surveillance applications, long-range imagery (>10 km) is needed to anticipate potential threats. Object identification requires good lateral and depth resolution. Maintaining performance day and night is also essential in this type of application. Conventional 3D laser imaging already partially meets these objectives. By providing and controlling its own source of illumination, it is less sensitive to surrounding illumination. However, it suffers from a lack of lateral resolution inherent in the technology, which requires a few large detector pixels. To overcome this difficulty, it has been demonstrated that Compressive Sensing (CS) can increase the resolution of a 3D laser imaging sensor. This imaging technique reduces acquisition time and the impact on the link budget compared to more conventional methods such as raster scan. To achieve this, the optronic system is modified to incorporate an optical component for spatial modulation of laser illumination. The idea behind CS is that, assuming that a signal is compressible, it is possible to reconstruct it exactly by observing a few linear combinations of the signal. However, when there is relative motion between the camera and the object of interest, the image reconstruction performance of this technique degrades. A 3D reconstruction method using CS has been proposed at ONERA. This method estimates the relative camera/object motion simultaneously with the 3D scene using the Large Deformation Diffeomorphic Metrics Mapping (LDDMM) method. Thus, it preserves the topology of the reconstructed objects in the scene. LDDMM was chosen in particular for its robustness. It is, in fact, the only motion estimation method that guarantees to obtain a motion that is a diffeomorphism and whose gradient can be calculated analytically. However, other methods exist, such as Diffeomorphic Demons, which enable lower-latency implementations by adding a simplifying assumption to LDDMM. 3D reconstruction of moving objects using CS is currently based on extensions of static CS methods, applied in a framework that goes beyond the hypotheses predicted by the theory, which means that formal reconstruction guarantees cannot be obtained. In addition, these methods, like the algorithms we have developed previously, are unable to handle complex cases involving 3D-LiDAR scenes acquired in motion. It is therefore necessary to improve the current reconstruction tools and methods, both theoretically and practically, in order to be able to apply these algorithms in practice with a theoretical framework that justifies them. This thesis aims to define a robust 3D CS reconstruction method for a moving single-pixel camera. In order to achieve this, the approach is based on four research axes: I. Define a method and then theoretically justify it for reconstructing a moving object using CS, in order to determine limits on the reconstruction error for objects in the scene. II. Adapt the method to complex use cases (occlusions, appearance of objects in the field of view). III. Choose and validate judicious and parallelizable approximation strategies in order to reduce latency, which is a prerequisite for deploying the method in an operational context. IV. Validate the algorithm on simulated data and then on real data. In this way, the thesis will provide a theoretical framework and a robust signal processing algorithm for CS in motion. Ultimately, it will make it possible to consider integrating the processing system on an embedded platform, and to image particularly fast objects.