Etude des propriétés des nuages de points 3D pour reconnaissance de forme

A Study of 3D Point Cloud Features for Shape Retrieval

• Auteur / Autrice : Hoang Justin Lev
• Direction : Mounir Mokhtari, Joo-Hwee Lim
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques et informatique
• Date : Soutenance le 11/05/2020
• Etablissement(s) : Université Grenoble Alpes
• Ecole(s) doctorale(s) : École doctorale Mathématiques, sciences et technologies de l'information, informatique (Grenoble ; 1995-....)
• Partenaire(s) de recherche : Laboratoire : Image & pervasive access lab (Singapour ; 2006-....)
• Jury : Président / Présidente : Jean-Marie Bonnin
• Jury : Examinateurs / Examinatrices : Nizar Ouarti
• Jury : Rapporteurs / Rapporteuses : Vincent Charvillat, Nicolas Loménie

Mots clés

Mots clés contrôlés

Courbure

Reconnaissance des formes (informatique)

Nuages de points

Mots clés libres

Nuage de point 3d

Reconnaissance

Propriete 3d

3D point cloud

Shape retrieval

3D feature

Résumé

Grâce à l’amélioration et la multiplication des capteurs 3D, la diminution des prix et l’augmentation des puissances de calculs, l’utilisation de donnée3D s’est intensifiée ces dernières années. Les nuages de points 3D (3D pointcloud) sont une des représentations possibles pour de telles données. Elleà l’avantage d’être simple et précise, ainsi que le résultat immédiat de la capture. En tant que structure non-régulière sous forme de liste de points,l’analyse des nuages de points est complexe d’où leur récente utilisation. Cette thèse se concentre sur l’utilisation de nuages de points 3D pourune analyse tridimensionnelle de leur forme. La géométrie des nuages est plus particulièrement étudiée via les courbures des objets. Des descripteursreprésentant la distribution des courbures principales sont proposés: Semantic Point Cloud (SPC) et Multi-Scale Principal Curvature Point Cloud (MPC2).Global Local Point Cloud (GLPC) est un autre descripteur basé sur les courbures mais en combinaison d’autres propriétés. Ces trois descripteurs sontrobustes aux erreurs communes lors d’une capture 3D comme par exemple le bruit ou bien les occlusions. Leurs performances sont supérieures à ceuxde l’état de l’art en ce qui concerne la reconnaissance d’instance avec plus de 90% de précision. La thèse étudie également les récents algorithmes de deep learning qui concernent les nuages de points 3D qui sont apparus au cours de ces trois ans de thèse. Une première approche utilise des descripteurs basé sur les courbures en tant que données d’entrée pour un réseau de perceptron multicouche (MLP). Les résultats ne sont cependant pas au niveau de l’état de l’art mais cette étude montre que ModelNet, la base de données de référence pour laclassification d’objet 3D, n’est pas optimale. En effet, la base de donnéesn’est pas une bonne représentation de la réalité en ne reflétant pas la richesse de courbures des objets réels. Enfin, l’architecture d’un réseau neuronal artificiel est présenté. Inspiré par l’état de l’art en deep learning, Multi-scale PointNet détermine les propriétés d’un objet à différente échelle et les combine afin de le décrire. Encore en développement, le modèle requiert encore des ajustements pour obtenir des résultats concluants. Pour résumer, en s’attaquant au problème complexe de l’utilisation des nuages de points 3D mais aussi à l’évolution rapide du domaine, la thèse contribue à l’état de l’art sur trois aspects majeurs: (i) L’élaboration de nouveaux algorithmes se basant sur les courbures géométrique des objets pour la reconnaissance d’instance. (ii) L’étude qui montre que la construction d’une nouvelle base de données plus réaliste est nécessaire pour correctement poursuivre les études dans le domaine. (iii) La proposition d’une nouvelle architecture de réseau de neurones artificiels pour l’analyse de nuage de points3D.

With the improvement and proliferation of 3D sensors, price cut and enhancementof computational power, the usage of 3D data intensifies for the last few years. The3D point cloud is one type amongst the others for 3D representation. This particularlyrepresentation is the direct output of sensors, accurate and simple. As a non-regularstructure of unordered list of points, the analysis on point cloud is challenging andhence the recent usage only.This PhD thesis focuses on the use of 3D point cloud representation for threedimensional shape analysis. More particularly, the geometrical shape is studied throughthe curvature of the object. Descriptors describing the distribution of the principalcurvature is proposed: Principal Curvature Point Cloud and Multi-Scale PrincipalCurvature Point Cloud. Global Local Point Cloud is another descriptor using thecurvature but in combination with other features. These three descriptors are robustto typical 3D scan error like noisy data or occlusion. They outperform state-of-the-artalgorithms in instance retrieval task with more than 90% of accuracy.The thesis also studies deep learning on 3D point cloud which emerges during thethree years of this PhD. The first approach tested, used curvature-based descriptor asthe input of a multi-layer perceptron network. The accuracy cannot catch state-ofthe-art performances. However, they show that ModelNet, the standard dataset for 3Dshape classification is not a good picture of the reality. Indeed, the experiment showsthat the dataset does not reflect the curvature wealth of true objects scans.Ultimately, a new neural network architecture is proposed. Inspired by the state-ofthe-art deep learning network, Multiscale PointNet computes the feature on multiplescales and combines them all to describe an object. Still under development, theperformances are still to be improved.In summary, tackling the challenging use of 3D point clouds but also the quickevolution of the field, the thesis contributes to the state-of-the-art in three majoraspects: (i) Design of new algorithms, relying on geometrical curvature of the objectfor instance retrieval task. (ii) Study and exhibition of the need to build a new standardclassification dataset with more realistic objects. (iii) Proposition of a new deep neuralnetwork for 3D point cloud analysis.