Un regard sur le monde de l'art: Prédire l'attention visuelle à l'aide de l'apprentissage profond

A Gaze into the Art World: Predicting Visual Attention Using Deep Learning

• Auteur / Autrice : Mohamed Kerkouri
• Direction : Aladine Chetouani
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le ; Soutenance le 29/02/2024
• Etablissement(s) : Orléans
• Ecole(s) doctorale(s) : École doctorale Mathématiques, Informatique, Physique Théorique et Ingénierie des Systèmes (Centre-Val de Loire ; 2012-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Pluridisciplinaire de recherche en ingénierie des systèmes, mécanique et énergétique (Orléans ; 2008-....)
• Jury : Examinateurs / Examinatrices : Aladine Chetouani, Olivier Le meur, Lu Zhang, Patrick Le callet, Sylvie Treuillet, Frédéric Dufaux, Sabine SüSSTRUNK
• Jury : Rapporteur / Rapporteuse : Olivier Le meur, Lu Zhang

Mots clés

Mots clés libres

Sailence

Tableaux de peintres

Scanpath

Image

Traitement d'images

Scanpath

Image processing

Image

Sailency

Paintings

Résumé

Patrimoine culturel, pierre angulaire de l'identité sociétale et historique, exige une compréhension approfondie et une préservation complète afin de relier efficacement le passé et le présent. Les peintures, allant de l'art rupestre préhistorique aux œuvres contemporaines modernes, constituent une part significative de ce patrimoine. Elles font l'objet d'un examen continu sur les fronts historique, artistique et technologique. Comme l'art incarne le zénith de l'intelligence et de la créativité humaines, l'étude du comportement cognitif humain en réponse aux peintures a gagné une considérable traction. Cette thèse explore l'étude du comportement visuel humain à travers le prisme des technologies de suivi oculaire. Étant donné la rareté des données accessibles au public, nous avons rassemblé un ensemble de données riche qui englobe diverses écoles artistiques et mouvements, présentant des peintures avec des degrés variés de réalisme et d'abstraction. Nous avons proposé plusieurs méthodologies basées sur des réseaux neuronaux profonds pour la prédiction de la trajectoire du regard et de la saillance, dans le but de modéliser le comportement de l'attention visuelle. Notre attention s'est portée sur l'amélioration de la capacité représentationnelle du modèle dans le domaine de la peinture, compte tenu de ses propriétés uniques par rapport aux scènes naturelles. À cette fin, nous avons employé des techniques telles que l'adaptation de domaine non supervisée et l'apprentissage auto-supervisé. Nos modèles intègrent plusieurs biais inductifs basés sur la théorie de l'attention visuelle. L'objectif de cette thèse est double : contribuer à la recherche en offrant un ensemble de données public sur l'art et le suivi oculaire, et introduire des méthodes novatrices de modélisation basées sur l'apprentissage en profondeur adaptées au domaine de la peinture.

Cultural heritage, a cornerstone of societal and historical identity, necessitates a comprehensive understanding and preservation to effectively bridge the past and present. Paintings, spanning from prehistoric cave art to modern contemporary pieces, form a significant part of this heritage. They are subject to continuous scrutiny on historical, artistic, and technological fronts. As art embodies the zenith of human intelligence and creativity, the study of human cognitive behavior in response to paintings has gained considerable traction. This thesis delves into the exploration of human visual behavior through the lens of eye-tracking technologies. Given the scarcity of publicly accessible data, we have amassed a rich dataset that encapsulates various art schools and movements, featuring paintings with diverse degrees of realism and abstraction. We have put forth several deep neural network-based methodologies for gaze trajectory and saliency prediction, aiming to model visual attention behavior. Our focus has been on enhancing the model's representational capacity within the painting domain, given its unique properties compared to natural scenes. To this end, we have employed techniques such as unsupervised domain adaptation and self-supervised learning. Our models incorporate several inductive biases based on visual attention theory. The objective of this thesis is twofold: to contribute to research by offering a public art and eye-tracking dataset, and to introduce novel deep learning-based modeling methods tailored for the domain of paintings.