Méthodes de synthèse d'hologramme rapides pour la visualisation 3D réaliste

Fast hologram synthesis methods for realistic 3D visualization

• Auteur / Autrice : Antonin Gilles
• Direction : Luce Morin
• Type : Thèse de doctorat
• Discipline(s) : Traitement du Signal et de l'Image
• Date : Soutenance le 13/09/2016
• Etablissement(s) : Rennes, INSA
• Ecole(s) doctorale(s) : École doctorale Mathématiques, télécommunications, informatique, signal, systèmes, électronique (Rennes)
• Partenaire(s) de recherche : Entreprise : Orange (Firme) - Institut de Recherche Technologique b<>com
• Partenaire(s) de recherche : COMUE : Université Bretagne Loire (2016-2019)
• Partenaire(s) de recherche : Equipe de recherche : Université de Rennes 1 (1969-2022)
• Partenaire(s) de recherche : Laboratoire : Institut d'Électronique et de Télécommunications (Rennes)
• Jury : Président / Présidente : Pascal Picart
• Jury : Examinateurs / Examinatrices : Luce Morin, Pascal Picart, Frédéric Dufaux, Peter Schelkens, Christine Guillemot, Laurent Lucas, Patrick Gioia, Rémi Cozot
• Jury : Rapporteurs / Rapporteuses : Frédéric Dufaux, Peter Schelkens

Mots clés

Mots clés contrôlés

Holographie

Vidéo 3D (imagerie tridimensionnelle)

Mots clés libres

Génération numérique d'hologrammes

Holography

3D vizualisation

Résumé

L’holographie est souvent considérée comme la technologie de visualisation 3D la plus prometteuse, puisqu'elle fournit l'illusion du relief la plus naturelle et la plus réaliste possible. Toutefois, pour trouver application dans le domaine de la visioconférence ou de la téléprésence, les méthodes de génération numérique d'hologrammes doivent produire des scènes réalistes avec une forte illusion de profondeur, et ce en temps réel. Cette thèse se situe dans ce contexte et est organisé en deux parties. Dans la première partie de ce travail, nous avons proposé deux algorithmes de synthèse d'hologrammes permettant de se rapprocher du temps réel. Tout d'abord, nous avons développé une méthode combinant deux approches complémentaires: les approches point-source et wave-field. Alors que les méthodes de l'état de l'art réduisent la complexité de calcul de ces deux approches indépendamment, notre méthode tire parti de chacune d'entre elles. De cette manière, le temps de calcul de l'hologramme a été réduit de plus de 65% par rapport aux méthodes point-source et wave-field conventionnelles. Deuxièmement, nous avons cherché à accélérer cette méthode hybride en supprimant les redondances temporelles entre les trames consécutives d'une vidéo 3D. Pour chaque image, l'algorithme détecte les changements dans la scène et met à jour l'hologramme des points affectés. Étant donné que seules de petites régions de l'hologramme sont mises à jour, la charge de calcul est considérablement réduite, permettant le calcul d’hologrammes couleur à 60 images par seconde. Dans la deuxième partie de ce travail, nous avons proposé deux algorithmes afin d'améliorer la qualité visuelle des scènes. Tout d'abord, nous avons perfectionné la méthode hybride pour tenir compte des occultations dans la scène. Pour cela, nous avons conçu une méthode efficace pour le calcul de l'occultation d'une onde lumineuse par un point. Cette méthode reproduit les occultations sans augmenter de manière significative le temps de calcul de la méthode hybride originale. Enfin, nous avons proposé une méthode pour le calcul d'un hologramme à partir de données multivue-plus-profondeur (MVD) avec prise en compte des réflexions spéculaires. Selon cette méthode, la géométrie de la scène est reconstruite à partir des données MVD sous la forme d'un nuage de points, ce qui permet de n'utiliser que quelques projections de la scène. En outre, afin de tenir compte de réflexions spéculaires, chaque point de la scène est considéré avoir une émission différente selon les directions. Enfin, la lumière émise par la scène est propagée dans le plan de l'hologramme. Les résultats expérimentaux montrent que cette méthode reproduit tous les indices de la profondeur et l'illumination précise de la scène avec une complexité de calcul réduite.

Holography is often considered as the most promising 3D visualization technology, since it can produce the most realistic and natural depth illusion to the naked eye. However, in order to have application in the field of videoconferencing or telepresence systems, hologram synthesis methods should be able to produce realistic 3D scenes with strong depth illusion in real-time. This thesis falls within this context and is organized into two parts. In the first part of this work, we investigated two novel algorithms in order to get closer to real-time computation. First, we designed a fast hologram calculation method by combining two approaches which complement one another: the point-source and wave-field approaches. Whereas previously proposed methods reduced the computational complexity of these approaches independently, our method takes advantages from both of them. By this way, the hologram calculation time has been reduced by more than 65% compare to the conventional point-source and wave-field methods. Second, we further accelerated this hybrid method by removing temporal redundancies between consecutive frames of a 3D video. For each video frame, the algorithm detects changes in the scene and updates the hologram of only affected scene points. Since only small regions of the hologram are updated at each video frame, this method allows the computational burden to be dramatically reduced, enabling the computation of colorful video holograms at 60 frames per second. In the second part of this work, we proposed two algorithms in order to enhance the visual quality of displayed scenes. First, we improved the hybrid method to take into account occlusions between objects in the scene. To this end, we designed an efficient algorithm for light shielding between points and light waves. Experimental results revealed that this method provides occlusion effect without significantly increasing the hologram calculation time of the original hybrid method. Finally, we proposed a hologram computation method from Multiview-plus-depth (MVD) data with rendering of specular reflections. In this method, the 3D scene geometry is first reconstructed from the MVD data as a layered point-cloud, enabling the use of only a few perspective projections of the scene. Furthermore, in order to take into account specular reflections, each scene point is considered to emit light differently in all the directions. Finally, light scattered by the scene is numerically propagated towards the hologram plane in order to get the final hologram. Experimental results show that the proposed method is able to provide all the human depth cues and accurate shading of the scene with reduced computational complexity.