Cartes de saillances et évaluation de la qualité des maillages 3D

Saliency maps and quality assessment of 3D meshes

• Auteur / Autrice : Anass Nouri
• Direction : Olivier Lézoray, Christophe Charrier
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance en 2016
• Etablissement(s) : Caen
• Ecole(s) doctorale(s) : École doctorale structures, informations, matière et matériaux (Caen ; 1992-2016)
• Partenaire(s) de recherche : Laboratoire : Groupe de recherche en informatique, image, automatique et instrumentation de Caen (1995-....)
• Partenaire(s) de recherche : Autre partenaire : Normandie Université (2015-....)
• Jury : Président / Présidente : Christine Fernandez-Maloigne
• Jury : Examinateurs / Examinatrices : Olivier Lézoray, Christophe Charrier, Christine Fernandez-Maloigne, Atilla Baskurt, Jean-Philippe Vandeborre
• Jury : Rapporteur / Rapporteuse : Atilla Baskurt, Jean-Philippe Vandeborre

Mots clés

Mots clés contrôlés

Théorie des graphes

Modélisation tridimensionnelle

Saillance visuelle

Mots clés libres

Maillage 3D

Evaluation de la qualité

Résumé

Le regard de tout être humain est attiré par des régions particulières appartenant aux objets (pouvant être re-présentés par des maillages 3D). Cette attractivité dépend fortement du degré de saillance exposé par ces régions. Le premier objectif de cette thèse est de proposer et de mettre en oeuvre un modèle permettant de détecter automati-quement les zones saillantes sur les maillages 3D non colorés. Nous considérons qu’un noeud du maillage est saillant s’il ressort fortement de son voisinage local et si sa configuration géométrique est différente de celle de ses voisins adjacents. Pour cela nous caractérisons la surface du maillage par un descripteur local sous forme de patch de taille adaptative. Ce dernier est utilisé dans le calcul des similarités et intégré dans le calcul de la carte saillance multi-échelle. Nous proposons également une extension de ce modèle pour la détection de la saillance des maillages colorés. Quatre appli-cations basées sur le modèle de saillance proposé ont été développées après la validation des résultats de notre mo-dèle sur des maillages non colorés issus d’une pseudo vérité terrain. Les premières et deuxièmes applications concer-nent respectivement la sélection automatique des points de vues optimaux et la compression adaptative des maillages 3D non colorés. Les troisièmes et quatrièmes applications s’inscrivent respectivement dans le cadre de l’amélioration de détails et du lissage adapatatif des maillages 3D colorés. Le deuxième objectif de cette thèse consiste à proposer une métrique d’évaluation de la qualité avec référence des maillages 3D. En mettant en entrée de cette métrique un maillage original (supposé parfait sans dégradation) et un deuxième maillage dégradé, le but sera d’évaluer le degré de fidélité du maillage dégradé relativement à sa version de référence en fournissant un score de de fidélité qui soit le plus proche possible des scores fournis par les observateurs humains. Étant donné que la saillance visuelle est une information pertinente pour notre système visuel, son utilisation dans le pipeline de la métrique est naturel. Nous utili-sons deux propriétés des maillages 3D pour évaluer objectivement la qualité : la saillance multi-échelle et la rugosité. En effet, la carte de saillance servira à l’extraction des informations structurelles du maillage 3D et la carte de rugosité à la prise en compte de l’effet de masquage visuel. Nous introduisons quatre fonctions de comparaisons entre deux voisinages locaux correspondants des deux maillages pour estimer les différences structurelles entre eux. Nous combi-nons ces dernières par une somme de Minkowski pondérée pour obtenir le score de qualité final. Le troisième objectif de cette thèse s’inscrit dans la mise en oeuvre d’une métrique d’évaluation de la qualité sans référence d’un maillage 3D. Contrairement à une métrique avec référence, cette catégorie de métriques est considérée comme la plus épi-neuse pour évaluer objectivement la qualité d’un maillage dégradé dans la mesure où la version de référence du mail-lage n’est pas utilisée. Similairement à la métrique avec référence, nous supposons que la qualité visuelle d’un mail-lage 3D est davantage dépréciée lorsque les régions saillantes du maillage sont affectées et vice-versa. Nous commen-çons par segmenter le maillage en un nombre de superfacettes qui joueront le rôle de patchs locaux dans ce contexte. Nous affectons à chaque noeud d’une superfacette ses valeurs de saillance et de rugosité respectives puis nous ex-trayons quatre caractéristiques locales de chaque superfacette (moyenne de la saillance, écart type de la saillance, covariance de la saillance et la moyenne de la rugosité). Les variations de ces quatre caractéristiques quantifient les distorsions que peut subir un maillage. Finalement, nous effectuons un apprentissage basé sur les Séparateurs à Vastes Marges (SVM) en utilisant le vecteur de caractéristiques construit : puis pour passer d’une représentation vectorielle du maillage à un score de qualité final, nous utilisons une régression par SVMs.

The glance of each human being is attracted by specific areas into 3D objects (that can be represented by meshes). This attraction depends on the degree of saliency exposed by these areas. The first goal of this thesis is to propose an approach for detecting visual salient areas on 3D non-colored meshes. We consider that a vertex as salient if it strongly stands out from its local neighborhood and if its geometric configuration is different from its adjacent vertices. For this, we characterize the surface of the 3D mesh by the use of a local vertex de-scriptor in the form of an adaptive patch. This descriptor is used as a basis for similarity computation and integrated into a weighted multi-scale saliency computation. We propose also an extension of our visual saliency model to 3D colored meshes. Four saliency-based applications were developed after the validation of the saliency detection results with a pseudo ground truth. The first and the second one concern respectively the optimal viewpoint selection and the adaptive compression of 3D non colored meshes. The third one sharpens the details of a 3D colored mesh, and the fourth smooths adaptively its colors. The second aim is to propose a novel perceptual full reference metric for the quality assessment of 3D meshes. Given a 3D reference mesh (reputed devoid from any distorsions) and a 3D distorted mesh as inputs of this metric, the goal is to assess the perceived quality of the distorted mesh by providing a fidelity score which must be as close as possible to the humans scores. As visual saliency is a perti-nent information for our visual system, its use in the pipeline of the quality metric is natural. We use two properties of 3D meshes for evaluating their perceived quality : the visual saliency and the roughness. The multi-scale saliency map is used for the extraction of the structural informations of the 3D mesh and the roughness map for the account of the visual masking effect. We introduce 4 comparison functions between 2 corresponding local neighborhoods in order to estimate the structural differences between them. We combine these functions with a weighted Minkowski sum so as to obtain a final quality score. The third objectif of this thesis is to provide an approach for the difficult problem of the no reference quality assessment of 3D meshes. On the contrary to full reference metrics, this category is considered as the thorniest since the reference version of the 3D mesh is not used. Similarly to the full reference metric, we suppose that the visual quality of a 3D mesh is more affected when the salient areas of the mesh are affected and vice versa. We begin by segmenting the mesh into a number of Superfacets which represent the local patches in this context. Then we affect to each vertex of a Superfacet its respective values of saliency and roughness. Afterward, we extract four local characteristics of each Superfacet (mean saliency, standard-deviation saliency, covariance saliency and mean roughness). Variations of these 4 characteristics quantify effectively the distorsions that a mesh may undergo. Finally, we perform a learning step based on SVMs (Support Vectors Machines) using the constructed feature vector , To move from a vectorial representation to a final quality score, we use a regression SVM scheme.