Segmentation sémantique et par instance de nuages de points 3D de plantes

Semantic and instance segmentaion of plant 3D point cloud

• Auteur / Autrice : Katia Mirande
• Direction : Franck Hétroy, Christophe Godin
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 16/12/2022
• Etablissement(s) : Strasbourg
• Ecole(s) doctorale(s) : École doctorale Mathématiques, sciences de l'information et de l'ingénieur (Strasbourg ; 1997-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire des sciences de l'ingénieur, de l'informatique et de l'imagerie (Strasbourg ; 2013-....)
• Jury : Président / Présidente : Dominique Bechmann
• Jury : Examinateurs / Examinatrices : Peter Hanappe
• Jury : Rapporteurs / Rapporteuses : David Rousseau, Laure Tougne Rodet

Mots clés

Mots clés contrôlés

Plantes

Reconnaissance optique des formes (informatique)

Traitement d'images

Mots clés libres

Segmentation par instance

Segmentation sémantique

Vecteur de Fiedler

Graphe quotient

Phénotypage

Instance segmentation

Semantic segmentation

Fiedler vector

Quotient graph

Phenotyping

Résumé

L’obtention simultanée d’une segmentation sémantique et par instance de nuages de points 3D de plantes est une étape indispensable pour le phénotypage automatique de plantes. Chaque organe de la plante est généralement détecté à partir de la géométrie locale du nuage de points, mais la cohérence globale de la structure de la plante est rarement utilisée. Dans cette thèse, nous explorons l’utilisation de deux graphes à échelles différentes pour segmenter et classifier des nuages de points de plantes. A l’échelle du point, le graphe de similarité permet de calculer des attributs géométriques basés sur le spectre du graphe et de distinguer les organes linéaires (tige principale, branches, pétioles) des organes à deux dimensions et plus (limbes et apex). A l’échelle des organes, le graphe quotient est utilisé pour obtenir une classification détaillée et corriger des défauts potentiels. Nous proposons ainsi une chaîne de traitement rapide, automatique et intégrant la structure de la plante. Nous évaluons cette dernière sur des bases de données de nuages de points 3D de Chenopodium album (chénopodes blanc) et de Solanum lycopersicum (plants de tomates).

Accurate simultaneous semantic and instance segmentation of a plant 3D point cloud is critical for automatic plant phenotyping. Classically, each organ of the plant is detected based on the local geometry of the point cloud, but the consistency of the global structure of the plant is rarely assessed. In this thesis, we explore the use of two graphs at different scales to segment and classify 3D plant point clouds. At the point scale, the similarity graph allows us to compute geometrical attributes from the spectrum of the graph and to distinguish between linear organs (main stem, branches, petioles) and two- or three-dimensional ones (leaf blades, apices). At the organ scale, the quotient graph is used to obtain a detailed classification and correct potential segmentation defects. We propose a fast and automatic pipeline that integrates knowledge of the structure of the plant. The method is assessed on both synthetic and real 3D pointcloud data sets of Chenopodium album (wild spinach) and Solanum lycopersicum (tomato plant).