Vers une cadre de segmentation en superspels agnostique

Towards an agnostic superspel segmentation framework

• Auteur / Autrice : Felipe Belem
• Direction : Jean Cousty, Benjamin Perret
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 01/02/2022
• Etablissement(s) : Université Gustave Eiffel en cotutelle avec Université d'État de Campinas
• Ecole(s) doctorale(s) : École doctorale Mathématiques, Sciences et Technologies de l'Information et de la Communication
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique de l'Institut Gaspard Monge (1997-2009)
• Partenaire(s) de recherche : Equipe de recherche : A3SI - Algorithme, Architecture, Analyse et Synthèse d'Image

Mots clés

Mots clés libres

Agnostique

Segmentation

Supervoxels

Superpixels

Superpixels

Agnostic

Segmentation

Supervoxels

Résumé

Les superspels peuvent être définis comme des groupes d'éléments spatiaux connectés (e.g., des pixels ou des voxels) qui partagent une propriété commune, comme la couleur ou la texture, et sont largement utilisés dans de nombreuses applications pour résoudre des problèmes particuliers. Par conséquent, quel que soit le domaine d'application, il est crucial que l'algorithme de superspel contribue, partiellement ou totalement, à la résolution. Cependant, chaque domaine présente des prémisses particulières et peut demander des résultats de segmentation distincts. Concernant les prémisses du domaine, les fortes variations de couleur sont probablement une bonne heuristique pour les images naturelles, mais insuffisantes pour les domaines médicaux. Au contraire, la forme de l'objet ou sa couleur sont éventuellement fournies pour les applications de ce dernier domaine. En ce qui concerne la morphologie du superspel, des différents motifs ou déplacements, comme le compacité et la régularité, peuvent favoriser certains applications au détriment d'autres. Malheureusement, puisque le plupart des méthodes de superpixels et supervoxels sont généralement évaluées dans un domaine spécifique, elles présentent des biais et caractéristiques propres au domaine, qui peuvent détériorer leurs performance dans les autres domaines. On peut argumenter qu'en traitant les biais et les morphologie spécifiques de l'application comme des tâches individuelles, et en récourrant à des propriétés intrinsèques des superspels, il est possible de développer un algorithme générique adapté a n'importe quelle application (i.e., indépendant du domaine). Dans ce projet, nous voulons étudier et développer un nouveau cadre de segmentation en superspels qui garantie la délimitation précise de tout objet d'intérêt en fonction de l'information préalable, quand elle est fournie. Donc, notre proposition, nommé Jigsaw, est divisée en deux parties. Dans la première partie, nous segmentons l'entrée de telle sorte que chaque objet d'intérêt possible soit correctement délimité par ses superspels. Ensuite, dans la deuxième partie, nous appliquons le processus suivant en considérant le résultat de la partie précédente : (i) sélectionner une quantité élevée de graines pour éviter de manquer des parties importantes de l'objet; (ii) appliquer une segmentation à partir de ces graines; et (iii) retirer celles induisant une région qui n'aide pas à promouvoir la morphologie de superspel souhaitée (i.e., inutiles). Après (i), les étapes (ii) et (iii) sont effectuées jusqu'à ce que la quantité désirée de régions soit finalement atteinte.

Superspels can be defined as groups of connected spatial elements (e.g., pixels or voxels) that share a common property, such as color or texture, and are widely used in many applications for solving particular problems. Therefore, for any application domain, it is crucial that the superspel algorithm assists, partially or totally, in their solution. However, different domains present particular premises and may require distinct segmentation results. In terms of domain premises, high color variations may be a good heuristic for natural images but insufficient for medical domains. Conversely, the object's shape or color may only be expected for applications in the latter domain. Regarding the superspel morphology, different patterns or displacements, such as compacity and regularization, may favor some applications over others. Unfortunately, since most superpixel and supervoxel methods are often evaluated in a specific domain, they present biases and characteristics of such, which may deteriorate their performance in different applications. One may argue that by handling the application's biases and desired morphology as individual tasks, and recurring to intrinsic superspel properties, it is possible to develop an algorithm suitable for any application (i.e., domain-agnostic). In this project, we aim to study and develop a novel superspel segmentation framework in which guarantees the accurate delineation of any possible object of interest with respect to prior information whenever it is provided. For that, our proposal, named Jigsaw, is divided into two stages. In the first one, we segment the input such that every possible object of interest is properly delineated by its superspels. Then, in the second stage, we apply the following pipeline considering the result from the previous one: (i) select a high number of seeds for avoiding missing important object parts; (ii) apply a seed-based segmentation method; and (iii) remove those seeds whose resulting component did not assist in promoting the expected superspel morphology (i.e., irrelevant). After (i), steps (ii) and (iii) are performed until the desired number of regions is finally achieved.