A PRIORI GÉOMÉTRIQUES POUR LES MODÈLES D'APPRENTISSAGE PROFOND DANS LES NUAGES DE POINTS 3D

GEOMETRICAL PRIORS FOR DEEP LEARNING MODELS IN 3D CLOUD POINTS

• Auteur / Autrice : Pierre Onghena
• Direction : Santiago Velasco-Forero, Beatriz Marcotegui
• Type : Projet de thèse
• Discipline(s) : Morphologie mathématique
• Date : Inscription en doctorat le 01/10/2023
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : Ecole doctorale Ingénierie des Systèmes, Matériaux, Mécanique, Énergétique (Paris)
• Partenaire(s) de recherche : Laboratoire : Mathématiques et Systèmes
• Partenaire(s) de recherche : Equipe de recherche : CMM - Centre de Morphologie Mathématique
• Partenaire(s) de recherche : établissement opérateur d'inscription : Mines Paris-PSL

Mots clés

Mots clés libres

Apprentissage profond

Géométrie

Nuages de points 3D

Segmentation

Deep learning

Geometry

3D point clouds

Segmentation

Résumé

Les modèles d'apprentissage profond constituent l'état de l'art en matière de segmentation et de classification d'objets dans de multiples tâches. Cependant, l'une des principales faiblesses des modèles d'apprentissage profond est la difficulté de comprendre leurs décisions et/ou de restreindre les résultats en fonction des connaissances préalables sur le problème. Nous pensons que l'inclusion/utilisation de connaissances d'experts réduirait l'effort d'annotation tout en améliorant l'interprétabilité du réseau. Dans cette thèse, nous souhaitons explorer la possibilité d'utiliser les connaissances géométriques préalables suivantes pour les modèles d'apprentissage profond dans les nuages de points 3D : (1) Informations relatives aux caractéristiques morphologiques/de forme telles que la taille, le nombre de composants. Des travaux antérieurs ont montré l'intérêt d'inclure des caractéristiques morphologiques dans l'apprentissage supervisé et des descripteurs de forme pour la segmentation. pour la segmentation. (2) Relations géométriques et spatiales des objets (être à côté de, être au-dessus de, être à l'intérieur de), être à l'intérieur). Pour les CNN, l'inclusion d'informations sur les symétries a permis de réduire la taille des modèles et de produire des modèles invariants par rapport à la construction sans perte significative de performance. Des exemples de ces méthodes comprennent la convolution de groupe, les images mobiles, les dérivées gaussiennes. dérivés gaussiens. (3) La structure hiérarchique des objets d'intérêt est un moyen naturel de coder l'information selon différents niveaux de simplification. Dans ce domaine, nous souhaitons explorer l'utilisation de hiérarchies basées sur la vérité terrain, basées sur des hiérarchies morphologiques et/ou combinées avec les invariances de (2).

Deep learning models are the state of the art in the segmentation and classifcation of objects in multiple tasks. However, one of the main weakness DL models is the diffculty of understanding their decisions and/or of restricting the results according to prior knowledge about the problem. We expect that including/using expert knowledge would reduce the annotation effort while improving the interpretability of the network. In this thesis, we want to explore the possibility of using of the following geometrical priors for deep learning models in 3D cloud points: (1) Information related to morphological/shape features characteristics such as size, number of components. Previous work has shown an interest in including morphological features on supervised learning and shape descriptors for segmentation. (2) Geometrical and Spatial relationships of objects (to be next to, to be on top of, to be inside of). For CNNs, including information on symmetries, have shown interest in reducing the size of the models and producing construction-invariant models without signifcant loss in performance. Examples of these methods include Group Convolution, Moving Frames, Gaussian Derivatives. (3) Hierarchical structure of the objects of interest is a natural way of coding information according to different levels of simplification. In this topic we wish to explore the use of ground truth based hierarchies, based on morphological hierarchies and/or combined with the invariances of (2).