Approche de conception conjointe optique/traitement à partir d'un traceur de rayons différentiables

End-to-end optical/digital design approach based on a differentiable ray tracer

• Auteur / Autrice : Gabriel Pradat-peyre
• Direction : François Goudail, Guillaume Druart
• Type : Projet de thèse
• Discipline(s) : Physique
• Date : Inscription en doctorat le 01/10/2024
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Electrical, optical, bio-physics and engineering
• Partenaire(s) de recherche : Laboratoire : Laboratoire Charles Fabry
• Partenaire(s) de recherche : Equipe de recherche : Imagerie et Information
• Partenaire(s) de recherche : Référent : Institut d'Optique

Mots clés

Mots clés libres

Conception optique

Traitement d'images

Conception conjointe

Optical design

Image processing

Codesign

Résumé

La conception conjointe optique/traitement (ou « co-conception ») est aujourd'hui une discipline scientifique dont le développement est indispensable pour améliorer encore les systèmes d'imagerie à l'état de l'art. Il s'agit d'optimiser dans le même temps un système optique et le traitement d'images associé, et ainsi atteindre les performances optimales nécessaires à de nombreuses problématiques. La co-conception est de plus en plus envisagée par Deep Learning (DL). Elle nécessite généralement un logiciel de tracé de rayons spécifique, fournissant les rayons et leurs dérivées, ou a minima un modèle optique différentiable fin. L'état de l'art en co-conception par DL s'intéresse à l'optimisation d'optiques de plus en plus complexes, mais la plupart s'attaque à des systèmes optiques simples et à des réseaux peu profonds pour la partie restauration numérique afin de permettre l'optimisation des quelques paramètres optiques. L'objectif de cette thèse est de proposer une stratégie de co-optimisation adaptée à la balance optique/traitement choisie, dans un logiciel de co-conception dédié. On se servira du logiciel “FORMIDABLE”, traceur de rayons différentiables développé à l'ONERA et sous licence ESCL, comme base pour le développement d'une stratégie de co-optimisation. Formidable permet de calculer les rayons et leurs dérivées au sein d'un système optique, ce qui lui confère un avantage notable sur la convergence des algorithmes d'optimisation. La thèse se structurera autour des trois axes suivants. 1. Réalisation d'un module ouvert pour la co-conception. L'objectif est double. Le premier est de coder des traitements d'intérêt pour la co-conception dans Formidable, qui gère déjà les systèmes optiques conventionnels. Le second objectif sera de profiter de l'utilisation d'un logiciel unique pour comparer, de manière rigoureuse, différentes approches de co-conception. 2. Stratégie de co-conception d'une optique simple. L'objectif sera de proposer, pour un traitement donné et le critère d'optimisation choisi, une architecture optique « simple » (masque de phase) adaptée à chacun. Cela inclut l'implémentation de surfaces optiques spécifiques dans Formidable : elles doivent être dérivables pour permettre leur optimisation avec un réseau de neurones pour le DL. 3. Stratégie de co-conception d'un système « optique / traitement » complexe. Si les masques de phase peuvent suffire dans certaines situations, d'autres nécessitent l'élaboration de « systèmes complexes », c'est-à-dire possédant un plus grand nombre de surfaces optiques à optimiser hors de la pupille, et éventuellement des surfaces freeform. L'objectif sera de proposer une stratégie de co-optimisation d'architectures optiques complexes, à associer à chaque traitement. Pour cela, le point de départ optique devra être adapté au traitement envisagé, en s'inspirant des conclusions de l'axe précédent.

Joint optical/digitaldesign (or 'co-design”) is today a scientific discipline whose development is essential to further improve imaging systems. The aim is to simultaneously optimize an optical system and the associated image processing, and thus achieve the performance level required to solve a wide range of problems. Co-design is increasingly being addressed by Deep Learning (DL). It generally requires specific ray-tracing software, providing the rays and their derivatives, or at least a fine differentiable optical model. The state of the art in DL-based co-design focuses on optimizing increasingly complex optics, but most tackle simple optical systems and shallow networks for the digital restoration part, in order to optimize the few optical parameters. The aim of this thesis is to propose a strategy adapted to the chosen optical/processing balance with a dedicated co-design software. To this end, we'll be using 'FORMIDABLE' software, a differentiable ray tracer developed at ONERA under ESCL license, as a basis for developing a co-optimization strategy. Formidable calculates rays and their derivatives within an optical, giving it a significant advantage in terms of the convergence of optimization algorithms. The thesis will be structured around the following three axes. 1. Creation of an open module for co-design. The aim is twofold. The first is to code processing algorithms of interest for co-design in Formidable, which already handles conventional optical systems. The second is to take advantage of the use of a single software package to compare, in a rigorous way, different approaches to co-design. 2. Co-design strategy for simple optics. The aim will be to propose, for a given processing algorithm and the chosen optimization criterion, a 'simple' optical architecture (phase mask) suited to each. This includes the implementation of specific optical surfaces in Formidable, since they must be derivable to enable their optimization with a neural network for DL. 3. Co-design strategy for a complex 'optics/processing' system. While phase masks may suffice in some situations, others require the development of 'complex systems', i.e. with a greater number of optical surfaces to be optimized outside the pupil, and possibly freeform surfaces. The aim will be to propose a strategy for co-optimizing complex optical architectures associated with each processing algorithm. To achieve this, the optical starting point will have to be adapted to the processing envisaged, drawing on the conclusions of the previous axes.