Analyse de contenus visuels en 2D et en 3D : évaluation de la pertinence d'un point de vue d'un objet 3D

Analysis of 2D and 3D visual content : how relevant is a viewpoint of a 3D object ?

• Auteur / Autrice : Marie Pelissier-Combescure
• Direction : Géraldine Morin, Sylvie, Julie Chambon
• Type : Thèse de doctorat
• Discipline(s) : Informatique et Télécommunications
• Date : Soutenance le 24/06/2024
• Etablissement(s) : Université de Toulouse (2023-....)
• Ecole(s) doctorale(s) : École doctorale Mathématiques, informatique et télécommunications (Toulouse)
• Partenaire(s) de recherche : Laboratoire : Institut de Recherche en Informatique de Toulouse (1995-....)
• Partenaire(s) de recherche : Etablissement délivrant conjointement le doctorat : Institut national polytechnique (Toulouse ; 1969-....)
• Jury : Président / Présidente : Jean-Luc Mari
• Jury : Examinateurs / Examinatrices : Géraldine Morin, Sylvie, Julie Chambon, Jean-Luc Mari
• Jury : Rapporteurs / Rapporteuses : Romain Raffin, Michèle Gouiffès

Mots clés

Mots clés contrôlés

Vision

Modélisation tridimensionnelle

Mots clés libres

Images 2D - Modèles 3D

Saillance Curviligne

Saillance 3D

Score de pertinence

Sélection de la meilleure vue

Etude utilisateur et utilisatrice

2D Images - 3D Models

Curvilinear saliency

3D saliency

Relevance score

Best view selection

User study

Résumé

Dans notre monde tridimensionnel, les objets sont souvent représentés en deux dimensions, principalement visualisés à travers des supports 2D tels que des catalogues en papier ou des écrans d'ordinateur. La sélection du point de vue pour observer un objet en 3D sur un support 2D a un impact significatif sur son identification, la visualisation de ses caractéristiques et la compréhension de son utilité. Cette tâche est primordiale dans différents domaines applicatifs tels que les jeux vidéos, l'imagerie médicale, l'architecture et la conception industrielle.Cette thèse se penche sur la problématique du choix du point de vue 2D le plus adapté pour un objet 3D donné, avec pour objectif de mesurer la pertinence de ce point de vue au regard des "informations essentielles" de l'objet, c'est-à-dire les informations qui permettent de le reconnaître et d'en extraire les attributs caractéristiques. Nous proposons une méthode pour déterminer automatiquement le point de vue 2D le plus pertinent en extrayant et en quantifiant les "informations essentielles" de chaque point de vue disponible.Deux axes de recherche ont été explorés dans cette étude. Le premier axe concerne l'évaluation de la pertinence des points de vue fixes offerts par des images texturées par rapport à un objet 3D. La géométrie de cet objet est définie par un modèle 3D. Le deuxième axe se concentre sur l'analyse d'un modèle 3D géométrique défini par un maillage 3D non texturé de l'objet. Nous proposons de déterminer automatiquement le point de vue le plus représentatif de l'objet, celui qui permet une identification et une compréhension sans ambiguïté.Pour notre premier axe de recherche, nous développons une approche s'appuyant sur la détection des caractéristiques saillantes de l'objet tout en filtrant les informations non pertinentes comme l'apparence, en tirant parti à la fois des images 2D et des modèles 3D. Nous introduisons un score de pertinence, dérivé des attributs géométriques et des recommandations liées à la photographie, qui nous permet de classer les points de vue. Pour valider l'approche, nous comparons les scores de pertinence avec les scores de confiance obtenus à partir de méthodes d'apprentissage, et les résultats obtenus montrent l'intérêt et l'efficacité de la proposition. Lors de la seconde partie, une méthode géométrique est proposée pour déterminer le point de vue le plus représentatif d'un objet en considérant son utilisation plutôt que son esthétisme. Plus précisément, nous proposons d'évaluer la quantité de surfaces visibles ainsi que la saillance intrinsèque, tout en pondérant chaque sommet visible en fonction de l'angle de vue. Les résultats ont été validés par une étude utilisateur et utilisatrice, tout en assurant la cohérence avec la perception humaine. De plus, pour démontrer l'efficacité de notre approche, nous avons réalisé une comparaison avec deux méthodes de l'état de l'art qui proposent également des techniques de sélection de la meilleure vue d'un objet. Cependant, contrairement à ces deux méthodes, notre approche pour sélectionner le meilleur point de vue est plus élaborée, impliquant une combinaison d'attributs géométriques et sémantiques propres à l'objet 3D étudié.En conclusion, nos contributions portent sur la sélection automatique du point de vue le plus pertinent pour un objet 3D donné. Autrement dit, nous identifions la vue optimale qui représente le mieux l'objet 3D, c'est-à-dire, celle qui permet de visualiser le plus de caractéristiques essentielles de l'objet 3D, facilitant ainsi son identification et sa compréhension. Dans nos deux axes de travail, cette identification se réalise à l'aide d'une quantification de la pertinence, basée sur l'extraction de l’information essentielle de l'objet étudié.

In our three-dimensional world, objects are often represented in two dimensions, mainly visualized through 2D displays such as paper catalogs or computer screens. Selecting the viewpoint from which to observe a 3D object on a 2D display has a significant impact on its identification, the identification of its characteristics and the understanding of its purpose. This task is crucial in various application domains such as video games, medical imaging, architecture and industrial design.This thesis proposes to automatically select the most relevant 2D viewpoint for a given 3D object, by quantifying the relevance of a viewpoint as the visible "essential object characteristics", i.e. the information necessary to identify the object or its important attributes.We propose a method for automatically determining the most relevant 2D viewpoint by extracting and quantifying the essential information from each available viewpoint.Two lines of research were explored in this study. The first evaluates the relevance of fixed viewpoints offered by textured images relative to a 3D object. The geometry of this object is defined by a 3D model. The second axis focuses on the analysis of a geometric 3D model defined by an untextured 3D mesh representing the object. We propose to automatically determine its most representative viewpoint, the one that allows unambiguous identification and understanding.For our first axis of research, we are developing an approach based on the detection of salient object features while filtering out irrelevant information such as appearance, taking advantage of both 2D images and 3D models. We introduce a relevance score, derived from geometric attributes and photography-related recommendations, which enables us to rank viewpoints. To validate the approach, we compare the relevance scores with confidence scores obtained from learning methods, and the results obtained show the interest and effectiveness of the proposal.In the second part, a geometric method is proposed to determine the most representative viewpoint of an object, considering its purpose rather than its aestheticism. More specifically, we propose to evaluate the amount of visible surface as well as intrinsic saliency, while weighting each visible vertex according to viewing angle. The results were validated by a user study, while ensuring consistency with human perception. In addition, to demonstrate the effectiveness of our approach, we carried out a comparison with two state-of-the-art methods that also offer techniques for selecting the best view of an object. However, unlike those methods, our approach to selecting the best viewpoint is more sophisticated, involving a combination of geometric and semantic attributes inherent to the studied 3D object.In conclusion, our contributions focus on the automatic selection of the most relevant viewpoint for a given 3D object. In other words, we identify the optimal view that accurately and exhaustively represents the object's essential features, making it easier to identify and understand. In our two axes of work, this identification is achieved through a quantification of relevance, based on the extraction of essential information from the object under study.