Compression d'attributs de nuages de points à trois dimensions basées sur l'apprentissage profond de réseaux de neurones

Learning Based Point Cloud Attribute Compression

• Auteur / Autrice : Rodrigo Borba pinheiro
• Direction : Giuseppe Valenzise
• Type : Projet de thèse
• Discipline(s) : Sciences des réseaux, de l'information et de la communication
• Date : Soutenance en 2025
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication
• Partenaire(s) de recherche : Laboratoire : Laboratoire des Signaux et Systèmes
• Partenaire(s) de recherche : Equipe de recherche : Télécoms et Réseaux
• Partenaire(s) de recherche : Référent : CentraleSupélec
• Partenaire(s) de recherche : graduate school : Université Paris-Saclay. Graduate School Informatique et sciences du numérique (2020-....)
• Jury : Examinateurs / Examinatrices : Ricardo De queiroz, Lu Zhang, Aline Roumy, Marius Preda
• Jury : Rapporteurs / Rapporteuses : Ricardo De queiroz, Lu Zhang

Mots clés

Mots clés libres

Compression

Nuages de points

Apprentissage profond

Réseaux de neurones

Compression

Point Clouds

Deep Learning

Neural Networks

Résumé

Au cours des dernières années, la consommation de contenu vidéo s'est orientée vers des formats immersifs tels que les rediffusions 3D dans le sport et les jeux VR, visant une immersion 6DoF permettant aux utilisateurs de se déplacer librement dans l'environnement 3D. Cette technologie trouve des applications au-delà du divertissement, notamment la téléprésence pour améliorer les réunions en ligne et la documentation 3D des sites du patrimoine culturel à des fins de préservation. Les nuages de points (NdP), bien qu'offrant des représentations 3D détaillées, nécessitent un stockage et une bande passante importants en raison de leur taille considérable. Pour permettre une adoption généralisée du contenu 3D, des techniques de compression efficaces pour les nuages de points sont cruciales. Cette thèse étudie l'application des techniques d'apprentissage profond à la compression d'attributs de nuages de points (PCAC). Plus précisément, nous explorons plusieurs domaines: la compression d'attributs à l'aide d'architectures Normalizing Flow (NF), la réduction de la complexité des approches NF, l'utilisation d'approches de bout en bout scalables pour la compression d'attributs, l'utilisation d'architectures inversibles basées sur des schémas de compression plus traditionnels et l'utilisation d'un type de convolution différent. Les approches d'apprentissage profond n'ont pas été explorées auparavant pour la compression d'attributs dans la littérature, car la plupart des travaux se concentrent sur l'apprentissage basé sur la compression de géométrie. Tout d'abord, nous proposons des alternatives à l'Auto-encodeur Variationnel largement utilisé. Nous créons une nouvelle couche pour la compression d'attributs afin de permettre aux architectures d'augmenter le champ réceptif des convolutions de manière inversible. Ce bloc nous permet d'augmenter le nombre de canaux dans les convolutions, tout en maintenant l'inversibilité, ce qui peut être un facteur intéressant lorsque la reconstruction de haute qualité est nécessaire. Nous étudions également différentes méthodes pour réduire la complexité des architectures basées sur NF en échantillonnant les informations de canal à l'aide de blocs de construction issus de méthodes de super-résolution. En explorant encore plus en profondeur la recherche de réduction du nombre de coefficients, nous concevons une convolution masquée par canal, qui nous permet de gérer la sparsité des nuages de points et d'obtenir un réseau inversible. Nous explorons également la viabilité de l'unification de deux approches d'apprentissage différentes dans une première méthode de bout en bout scalable, qui peut tirer parti de la corrélation restante dans les informations résiduelles du nuage de points encodé. En outre, nous explorons d'autres architectures inversibles, basées sur des techniques de compression d'images plus traditionnelles, en créant la première architecture basée sur le lifting pour la compression d'attributs de nuages de points. Nous concevons un bloc de lifting masqué par décalage, qui nous permet d'effectuer une opération de lifting sur les nuages de points sparses et irréguliers tout en tirant parti des méthodes de convolution sparse. En outre, nous proposons également une nouvelle approche de projection pour les nuages de points, qui vise à réduire la perte de géométrie inhérente aux approches de projection plus conventionnelles en effectuant des micro-projections pour correspondre à la taille du noyau où les convolutions seront calculées. Enfin, nous concluons le travail en abordant les questions de recherche ouvertes en matière de compression de nuages de points, en examinant les solutions existantes et les orientations futures. Nous soulignons les perspectives sur la compression conjointe de la géométrie et des attributs et sur les méthodes basées sur la projection, ainsi que l'importance de réduire la complexité et d'assurer la reproductibilité des approches basées sur l'apprentissage.

In recent years, video content consumption has shifted towards immersive formats like 3D replays in sports and VR gaming, aiming for 6DoF immersion that allows users to move freely within the 3D environment. This technology has applications beyond entertainment, including telepresence for improved online meetings and 3D documentation of cultural heritage sites for preservation purposes. Point clouds, while offering high-detail 3D representations, require significant storage and bandwidth due to their massive size. To enable widespread adoption of 3D content, efficient compression techniques for point clouds are crucial, especially as capture technologies continue to generate even higher resolution data. This thesis investigates the application of deep learning techniques to Point Cloud Attribute Compression (PCAC). More specifically, we explore some key areas: lossy attribute compression using Normalizing Flow architectures, the reduction of complexity on Normalizing Flow approaches, the use of scalable end-to-end approaches for attribuete compression, the use of invertible architectures based on more traditional compression schemes and the use of a different convolution type. Deep learning approaches were not previously explored for attribute compression in literature, since most literature focus on learning based for geometry compression. First, we show how different architectures can be used to achieve the compression of the attributes of point clouds, especially by proposing alternatives to the widely used and popular Variational Auto-Encoder. We create a novel layer for attribute compression to allow the architectures to increase the receptive field of the convolutions in an invertible way. This block allows us to increase the number of channels in the convolutions, while maintaining invertibility, which can be an interesting factor when high quality reconstruction is needed. We also investigate different methods to reduce the complexity of Normalizing Flow based architectures by sampling the channel information using building blocks from super resolution methods. By exploring even deeper in the search of reducing the number of coefficients we design a channel masked convolution, which allows us to deal with the sparsity of the point clouds and to achieve an invertible network. We explore as well the viability of unifying two different learning based approaches in a first scalable end-to-end method, which can leverage the remaining correlation in the residual information of the encoded point cloud. Besides, we explore other invertible architectures, based on more traditional image compression techniques by creating the first lifting based architecture for point cloud attribute compression. We design a shift masked lifting block, which allow us to perform lifting operation on the sparse and irregular point clouds while leveraging the sparse convolution methods. In addition, we also propose a novel projection approach for point clouds, which searches to reduce the inherent geometry loss of more conventional projection approaches by performing micro projections to match the size of the kernel where convolutions will be calculated. Finally, we conclude the work by addressing open research questions in point cloud compression, examining existing solutions and future directions. We emphasize the perspectives on joint compression of geometry and attributes and on projection based methods, as well as the importance of reducing the complexity and ensuring reproducibility on learning based approaches.