Compression de nuages de points à trois dimensions basées sur l'apprentissage profond de réseaux de neurones

3D Point Cloud Compression using Deep Neural Networks

• Auteur / Autrice : Rodrigo Borba pinheiro
• Direction : Giuseppe Valenzise
• Type : Projet de thèse
• Discipline(s) : Sciences des réseaux, de l'information et de la communication
• Date : Inscription en doctorat le 15/11/2021
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication
• Partenaire(s) de recherche : Laboratoire : Laboratoire des Signaux et Systèmes
• Partenaire(s) de recherche : Equipe de recherche : Télécoms et Réseaux
• Partenaire(s) de recherche : Référent : CentraleSupélec

Mots clés

Mots clés libres

Compression

Nuages de points

Apprentissage profond

Réseaux de neurones

Compression

Point Clouds

Deep Learning

Neural Networks

Résumé

Ce sujet concerne l'étude et la mise en œuvre de solutions permettant la compression de nuages de points en trois dimensions. Dans ce contexte nous souhaitons étudier et proposer des solutions basées apprentissage profond de réseaux de neurones (Deep Learing) dans le but d'améliorer les solutions traditionnelles existantes. Les récents résultats dans ce domaine [3,4,6] sont très prometteurs en termes de performance de compression par rapport aux solutions traditionnelles mais présentent encore beaucoup de limitations, notamment en termes de nature des données d'entrée et de volume de ces mêmes données. En effet aucune solution basée deep-learning existante ne permet le codage de la géométrie (coordonnées spatiales des points) et de la photométrie (couleurs de ces points, normales, etc.) de manière unifiée et performante. La problématique consiste donc à faire converger ces différentes approches afin d'obtenir des solutions viables en termes d'utilisation industrielle. Cette convergence sera notamment obtenue via la définition de nouvelles représentations des données géométriques et photométriques d'entrée permettant une consommation en structures de données régulières compatibles avec les modèles de deep-learning, ainsi que par la définition de nouvelles métriques de coût (basées perception) permettant d'obtenir des convergences de modèles pertinentes en termes de compression et de qualité visuelle. En termes de taille de données, les solutions basées deep-learning existantes sont généralement appliquées sur des modélisations régulières du nuage de point. Ce type de représentation introduit des biais sur les modèles d'origines (quantification, discontinuités de tuiles, etc.) et permettent rarement un passage à l'échelle. Nous proposons donc de faire évoluer les algorithmes existant dans le but d'exploiter au mieux des structures de données multi-résolution, type arbre octal, permettant le passage à l'échelle via un raffinement progressif ainsi que la consommation du flux de données en fonction du point de vue virtuel. Là encore, une adaptation des données de contexte, issues du parcours descendant de l'arbre, devra être effectuée afin d'être fournies au modèle d'apprentissage. Finalement nous proposons, dans une dernière phase, d'étudier la possibilité d'extension de notre modèle vers des nuages de points animés, en prenant en compte l'aspect temporel et donc la compression inter-trames. À la suite d'un état de l'art approfondi l'étudiant aura donc à développer de nouvelles métriques basées perception, de nouvelles structures de données ainsi que les algorithmes permettant la mise en place de ces différents aspects.

This PhD topic concerns the study and implementation of solutions allowing the compression of three-dimensional point clouds. In this context, we want to study and develop new solutions based on deep learning in order to improve existing traditional solutions. Recent results in this area [3,4,6] are very promising in terms of compression performance compared to traditional solutions. However, they still have many limitations, especially regarding the nature and volume of input data. Indeed, no existing deep learning-based solution allows the coding of geometry (spatial coordinates of points) and photometry (colors of these points, normals, etc.) in a unified and efficient way. Thus, our objective consists in bringing together these different approaches in order to obtain viable solutions in terms of industrial use. This convergence will be obtained in particular through the definition of new representations of input geometric and photometric data allowing consumption in regular data structures compatible with deep learning models, as well as by the definition of new perceptual loss functions allowing to obtain relevant model convergence in terms of compression and visual quality. In terms of data size, existing deep learning based solutions are generally applied to regular voxelizations of the point cloud. This type of representation introduces strong degradations on the original model (quantization, tile discontinuities, etc.) and provides poor scalability. We therefore propose to enhance the existing algorithms in order to make the best use of multi-resolution data structures (octree type). This enables scalability via progressive refinement as well as the view dependent consumption of the data stream. Here again, an adaptation of the context data, from the descending tree traversal, must be performed in order to be supplied to the learning model. Finally, we propose in a last phase, to study the possibility of extending our model to animated point clouds, by considering the temporal aspect and therefore inter-frame compression. Following an in-depth state of the art, the student will therefore have to develop new perception metrics, data structures and algorithms allowing the implementation of these different aspects.