Extraction de vue et codage pour l'imagerie 'light field'

par Milan Stepanov

Projet de thèse en Traitement du signal et des images

Sous la direction de Frédéric Dufaux et de Giuseppe Valenzise.

Thèses en préparation à Paris Saclay , dans le cadre de École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....) , en partenariat avec L2S - Laboratoire des signaux et systèmes (laboratoire) , Télécoms et Réseaux (equipe de recherche) et de CentraleSupélec (2015-....) (établissement de préparation de la thèse) depuis le 01-12-2018 .


  • Résumé

    Description en français: Dans ce projet, nous étudions des méthodes d'extraction de vue pour générer une représentation de données multi-vues, une forme particulière d'échantillonnage du champ lumineux 'light field' [1], qui décrit les intensités lumineuses reçues de n'importe quelle direction, quel que soit le point de vue. Les caméras light field, telles que la Lytro ou la Raytrix, sont capables de produire un échantillonnage de ce signal, en capturant un grand nombre de micro-images de la scène qui la représente à partir de plusieurs points de vue. Cette information, évidemment, implique une quantité énorme de données à représenter, stocker et transmettre, et nécessite donc une compression efficace [2,3]. Dans ce contexte, nous étudierons de nouvelles méthodes pour reconstruire le champ lumineux 'light field' à partir d'un échantillon des vues possibles de la scène. Nous considérerons les limites théoriques et des approches plus pratiques, dans lesquelles les vues sont déduites des échantillons en estimant l'information de disparité entre les micro-images pour mélanger des pièces de différentes tailles, dans le but de produire des vues sans distorsions. En particulier, nous tirerons parti des approches récentes d'apprentissage profond pour synthétiser des points de vue de haute qualité, même à partir d'un ensemble parcimonieux de points d'ancrage [4]. Enfin, nous proposerons de nouveaux schémas de codage des vues, en utilisant l'optimisation conjointe de l'extraction et du codage des vues. Le projet se concentre principalement sur les développements algorithmiques. Les résultats attendus sont: • Validation expérimentale de l'extraction de vue à l'aide d'une caméra light field (par exemple Lytro, Raytrix) • Analyse des problèmes théoriques de l'échantillonnage du light field • Codage des vues et des séquences de vues

  • Titre traduit

    View extraction and coding for light field imaging


  • Résumé

    Description in English: In this project, we investigate view extraction methods to generate a super multi-view data representation, a particular form of sampling the light field [1], which describes the light intensities received from any direction, at any observer's viewpoint. Consumer light-field cameras, such as the Lytro or Raytrix, are able to produce a sampling of this signal, by capturing a high number of micro-images of the scene representing it from multiple points of view. This information, clearly, entails a huge amount of data to be represented, stored and transmitted, and thus requires to be efficiently compressed [2,3]. In this context, we will study novel methods to reconstruct the light field based on a sample of the possible views of the scene. We will both consider theoretical bounds and more practical approaches, in which views are inferred from the sampled ones by estimating disparity information between micro-images to blend patches of varying sizes, with the aim to produce artifact-free and full-focused viewpoint images. In particular, we will leverage recent deep learning approaches to synthesize high-quality viewpoints even from a sparse set of anchor points [4]. Finally, we will propose new schemes for coding views, using joint optimization of view extraction and coding. The project mainly focuses on algorithmic developments. The expected results are • Experimental validation of view extraction using a light-field camera (e.g. Lytro, Raytrix) • Analysis of theoretical issues of light-field sampling • Coding views and sequences of views Supervisors : Frédéric Dufaux, DR CNRS, frederic.dufaux@l2s.centralesupelec.fr Giuseppe Valenzise, CR1 CNRS, giuseppe.valenzise@l2s.centralesupelec.fr