Co-conception optique/réseau de neurones pour une caméra grand champ préservant la vie privée

Deep co-design of a privacy preserving camera with a large field of view

• Auteur / Autrice : Juan Angarita mejia
• Direction : Frédéric Champagnat
• Type : Projet de thèse
• Discipline(s) : Sciences du traitement du signal et des images
• Date : Inscription en doctorat le 02/02/2026
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication
• Partenaire(s) de recherche : Laboratoire : ONERA - Département Traitement de l'information et systèmes
• Partenaire(s) de recherche : Référent : Faculté des sciences d'Orsay

Mots clés

Mots clés libres

Optimisation globale

Apprentissage machine

Conception optique

Deep learning

End-to-end design

Optical design

Résumé

Les caméras sont omniprésentes dans l'espace public et produisent des images utilisées comme entrée pour différents algorithmes pour la détection d'objets, le suivi d'objets ou la segmentation sémantique. Cependant ces images peuvent également employées pour extraire des informations sensibles relatives à la vie privée, posant des problèmes juridiques liés à la protection des données. En effet, certaines techniques logicielles, telles que l'ajout d'un flou localisé sur les images, peuvent être utilisées pour masquer les informations sensibles, mais elles ne fournissent pas un niveau de sécurité sur la sortie brute de la caméra. Une autre solution consiste à ajouter directement une protection au niveau de l'objectif de la caméra. Ainsi, des travaux récents [1,2] proposent d'optimiser les paramètres de l'objectif pour ajouter la confidentialité tout en garantissant que la tâche d'analyse puisse toujours atteindre un haut niveau de performance. Pour concevoir une telle caméra, une approche de co-conception est nécessaire pour optimiser conjointement les paramètres optiques et de réseau neuronal. L'idée est de combiner la co-conception et l'entraînement adversaire pour concevoir un élément optique qui produit une image favorisant une tâche d'analyse de scène mais compromet une tâche susceptible d'affecter la vie privée. Cependant, dans l'état de l'art, seuls les modèles optiques basés sur l'Optique de Fourier ont été utilisés pour la conception de caméras préservant la confidentialité, en supposant un champ de vision (FOV) restreint et ne considérant que l'optimisation d'un seul élément optique tel qu'un masque de phase. Plus spécifiquement, l'ONERA a travaillé sur la conception conjointe des lentilles et des réseaux neuronaux avec un modèle optique différentiable utilisant le tracé de rayons (Formidable) [3,4,5]. Ce modèle prend en entrée un système optique défini par un ensemble de lentilles et simule sa réponse impulsionnelle ainsi que son jacobien par rapport aux paramètres des lentilles. En utilisant cet outil, nous avons effectué la conception conjointe des paramètres des lentilles pour une seule tâche telle que la restauration d'images [4,5], l'estimation de profondeur et la restauration d'images [5]. Cependant, ces travaux n'ont considéré que l'optimisation d'un ensemble limité de paramètres, dans un FOV restreint. Ici, l'objectif de cette thèse est la conception conjointe d'une caméra préservant la confidentialité avec un grand FOV et un modèle optique différentiable basé sur le tracing de rayons. Ce travail s'inscrit dans le cadre d'un projet ANR en collaboration entre ONERA et Upciti, une entreprise privée qui développe des solutions pour les villes intelligentes. La thèse sera organisée comme suit : Le premier objectif sera de remplacer le modèle d'Optique ed Fourier utilisé dans les travaux préliminaires menés par Upciti et ONERA [2] par le logiciel de tracé de rayons différentiable Formidable. Dans ce cadre, de nouvelles investigations sur la méthodologie d'apprentissage adversaire seront menées. Ensuite, le deuxième défi sera d'augmenter le FOV de la caméra ainsi que l'optimisation d'un ensemble de paramètres optiques. Pour relever ce défi, l'apprentissage par curriculum learning pourrait être étudié comme proposé dans la littérature [6]. Le dernier objectif est d'intégrer l'optimisation de lentilles non conventionnelles telles que des masques de phase ou des lentilles freeform dans le cadre de conception conjointe intégrée optique/réseau neuronal, en utilisant un modèle optique de tracé de rayons tel que Formidable. En effet, ces lentilles non conventionnelles ont été introduites dans une conception conjointe optique/réseau de neurones, car elles offrent des degrés de liberté supplémentaires pour contrôler la réponse de l'objectif pour une application donnée [7,8]. La dernière partie de la thèse sera consacrée à la réalisation d'un démonstrateur pour une application sélectionnée.

Cameras are ubiquitous in the public space. The images captured are usually adopted as input to different deep models for object detection, object tracking, or semantic segmentation. These tasks can also include extracting privacy-sensitive information which raises legal issues related to data protection. Indeed, some software-based techniques, such as blurring, can be used to hide sensitive information, but, they are prone to error and do not include a level of security on the camera's raw output. Another solution is to add security directly to the camera lens. In this regard, recent works [1,2] propose to optimize lens parameters to add privacy while simultaneously ensuring the objective task still achieves high performance. To design such a camera, a co-design approach is required to jointly optimize the optical and neural network parameters. The idea is to combine deep co-design and adversarial training to design an optical element that produces an image that favors a scene analysis task (utility task) but compromises a task that could affect privacy (adversarial task). However in the state of the art, only Fourier Optics based optical model have been used for the camera privacy preserving design, assuming small field of view (FOV) and only considering the optimization of a single optical element such as a phase mask. Specifically ONERA has been working on the end-to-end design of lenses and neural networks with a differentiable optical model using ray tracing (Formidable) [3,4,5]. This model takes as input an optical system defined by a set of lenses and simulates its impulse response as well as its Jacobian with respect to the lens parameters. Using this tool, we have performed the joint design of the lens parameters for a single task such as image restoration [4,5] and both depth estimation and image restoration [5]. However these works only considered optimization of a limited set of refractive lenses parameters, within a restricted FOV. In contrast, the aim of this thesis is the end-to-end design of privacy preserving camera with a large FOV and a differentiable optical model based on ray tracing. This work is part of an ANR project in collaboration between ONERA and Upciti, a private company that develops smart city solutions. The PhD will be organized as follows: The first aim will be to replace the Fourier Optical model used in the preliminary work conducted by Upciti and ONERA [2] with the differentiable ray tracing software Formidable. Within this work new investigations on the adversarial learning framework will be conducted, such as how to make it general to non-sensitive purposes. Then, the second challenge will be to increase the camera FOV as well as optimization of a large set of optical parameters. To handle this challenging task, curriculum learning could be investigated as proposed in the literature [6]. The last objective is to integrate the optimization of unconventional lenses such as phase masks or freeform lenses into the end-to-end joint optical and neural network optimization framework, using a ray tracing optical model such as Formidable. Indeed, these unconventional lenses have been introduced in a joint optical/neural network design, as they provide additional degrees of freedom to control the response of the lens for a given application [7,8]. The last part of the thesis will be dedicated to the realization of a demonstrator for a selected application.