Assessment of photos in albums based on aesthetics and context

par Dmitry Kuzovkin

Thèse de doctorat en Informatique

Sous la direction de Rémi Cozot et de Olivier Le Meur.

Soutenue le 21-06-2019

à Rennes 1 , dans le cadre de MATHSTIC , en partenariat avec Université Bretagne Loire (ComuE) , Institut de recherche en informatique et systèmes aléatoires (Rennes) (laboratoire) et de PERCEPT (laboratoire) .

  • Titre traduit

    Évaluation de photos dans des albums basée sur l'esthétique et le contexte


  • Résumé

    Le processus de sélection de photos dans des albums peut être considérablement amélioré à l’aide d’un critère d’évaluation automatique des qualités d’une photo. Cependant, les méthodes existantes abordent ce problème de manière indépendante, c’est à dire en évaluant chaque image séparément des autres images d'un album. Dans cette thèse, nous explorons la modélisation du contexte d’une photo via une approche de clustering de collections de photos et la possibilité d'appliquer l’information de contexte à l'évaluation d’une photo. Nous avons effectué des études subjectives permettant d’étudier la manière dont les utilisateurs regroupent et sélectionnent des photos dans un album. Ces études ont permis une estimation du niveau de l’accord entre les différents utilisateurs. Nous avons aussi étudié la manière dont le contexte influence leurs décisions. Après avoir étudié la nature des décisions des utilisateurs, nous proposons une approche informatique pour modéliser leur comportement. Tout d'abord, nous introduisons une méthode de clustering hiérarchique, qui permet de regrouper des photos similaires selon une structure de similarité à plusieurs niveaux, basée sur des descripteurs visuels. Ensuite, les informations de contexte de la photo sont utilisées pour adapter le score de la photo pré-calculé indépendamment, en utilisant les données basées sur des statistiques et une approche d'apprentissage automatique. De plus, comme la majorité des méthodes récentes d'évaluation de la photo sont basées sur des réseaux de neurones convolutionnels, nous avons exploré et visualisé les caractéristiques esthétiques apprises par ces méthodes.


  • Résumé

    An automatic photo assessment can significantly aid the process of photo selection within photo collections. However, existing computational methods approach this problem in an independent manner, by evaluating each image apart from other images in a photo album. In this thesis, we explore the modeling of photo context via a clustering approach for photo collections and the possibility of applying such context information in photo assessment. To better understand user actions within photo albums, we conduct experimental user studies, where we study how users cluster and select photos in photo collections. We estimate the level of agreement between users and investigate how the context, defined by similar photos in corresponding clusters, influences their decisions. After studying the nature of user decisions, we propose a computational approach to model user behavior. First, we introduce a hierarchical clustering method, which allows to group similar photos according to a multi-level similarity structure, based on visual descriptors. Then, the photo context information is extracted from the obtained cluster data and used to adapt a pre-computed independent photo score, using the statistics-based data and a machine learning approach. In addition, as the majority of recent methods for photo assessment are based on convolutional neural networks, we explore and visualize the aesthetic characteristics learned by such methods.


Il est disponible au sein de la bibliothèque de l'établissement de soutenance.

Consulter en bibliothèque

La version de soutenance existe

Où se trouve cette thèse\u00a0?

  • Bibliothèque : Université de Rennes I. Service commun de la documentation. Bibliothèque de ressources en ligne.
Voir dans le Sudoc, catalogue collectif des bibliothèques de l'enseignement supérieur et de la recherche.