Voisinages anisotropes de superpixels pour la segmentation d'images de structures fines

Anisotropic neighborhoods of superpixels for thin structure segmentation

• Auteur / Autrice : Christophe Ribal
• Direction : Sylvie Le Hégarat
• Type : Thèse de doctorat
• Discipline(s) : Traitement du signal et des images
• Date : Soutenance le 17/12/2021
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Référent : Faculté des sciences d'Orsay
• Partenaire(s) de recherche : graduate school : Université Paris-Saclay. Graduate School Informatique et sciences du numérique (2020-….)
• Partenaire(s) de recherche : Laboratoire : Systèmes et applications des technologies de l'information et de l'énergie (Gif-sur-Yvette, Essonne ; 2002-....)
• Jury : Président / Présidente : Thomas Rodet
• Jury : Examinateurs / Examinatrices : Nicolas Passat, Sylvie, Julie Chambon, Su Ruan
• Jury : Rapporteur / Rapporteuse : Nicolas Passat, Sylvie, Julie Chambon

Mots clés

Mots clés contrôlés

Vision par ordinateur

Reconstruction d'image

Optimisation combinatoire

Segmentation bayésienne

Traitement d'images -- Techniques numériques

Mots clés libres

Voisinage

Structures fines

Segmentation

Optimisation

Superpixels

Image

Neighborhood

Thin structures

Segmentation

Optimization

Superpixels

Image

Résumé

En vision robotique, segmenter une image consiste à décomposer cette image en régions homogènes, en associant un label à chaque élément la constituant. Cette thèse propose une approche générique vis à vis de ces éléments, pixels ou superpixels, en les désignant communément sous le terme de sites. La résolution du problème inverse qu'est la segmentation d'images est généralement rendue robuste au bruit grâce à la formulation d'une hypothèse Markovienne sur le champ des labels, et d'un a priori d'homogénéité des labels au sein des voisinages. Cependant, la solution optimale (ou régularisée) tend alors à présenter des artéfacts indésirables, notablement la perte prématurée des structures fines, définies comme des structures dont la taille est réduite selon au moins une dimension. La construction de voisinages anisotropes adaptés à ces structures permet de pallier ce problème. Ces voisinages sont calculés après une première étape d'estimation des orientations des structures fines présentes dans l'image. Trois options, dont deux adaptées de la littérature, sont proposées pour réaliser cette étape cruciale : la minimisation d'une énergie, le vote de tenseurs, et le RORPO. À partir des cartes d'orientation obtenues, quatres méthodes de construction des voisinages anisotropes sont retenues. Tout d'abord, un voisinage défini par des formes géométriques est présenté, puis la restriction à un nombre fini de configurations pour chaque site permet de formuler un voisinage basé sur un dictionnaire. Enfin, deux voisinages basés sur des chemins entre sites (l'un à extrémités fixées et l'autre à taille constante) sont considérés, tous deux faisant intervenir une énergie à minimiser. Dans ce manuscrit, les segmentations obtenues par estimateur du Maximum A Posteriori (obtenu à partir de coupes de graphes) avec les voisinages anisotropes proposés sont comparées à celles supposant un voisinage isotrope dans le cas de deux applications : la détection de structures fines et la reconstruction de cartes de profondeur en Shape From Focus. Les résultats des différentes variantes proposées sont évalués qualitativement et quantitativement dans le but de souligner les apports de la méthode proposée.

In the field of computer vision, image segmentation aims at decomposing an image into homogeneous regions. While usually an image is composed of a regular lattice of pixels, this manuscript proposes through the term of site a generic approach able to consider either pixels or superpixels. Robustness to noise in this challenging inverse problem is achieved by formulating the labels as a Markov Random Field, and finding an optimal segmentation under the prior that labels should be homogeneous inside the neighborhood of a site. However, this regularization of the solution introduces unwanted artifacts, such as the early loss of thin structures, defined as structures whose size is small in at least one dimension. Anisotropic neighborhood construction fitted to thin structures allows us to tackle the mentioned artifacts. Firstly, the orientations of the structures in the image are estimated from any of the three presented options: The minimization of an energy, Tensor Voting, and RORPO. Secondly, four methods for constructing the actual neighborhood from the orientation maps are proposed: Shape-based neighborhood, computed from the relative positioning of the sites, dictionary-based neighborhood, derived from the discretization to a finite number of configurations of neighbors for each site, and two path-based neighborhoods, namely target-based neighborhood with fixed extremities, and cardinal-based neighborhood with fixed path lengths. Finally, the results provided by the Maximum A Posteriori criterion (computed with graph cuts optimization) with these anisotropic neighborhoods are compared against isotropic ones on two applications: Thin structure detection and depth reconstruction in Shape From Focus. The different combinations of guidance map estimations and neighborhood constructions are illustrated and evaluated quantitatively and qualitatively in order to exhibit the benefits of the proposed approaches.