The secret life of JPEG images : Forgery detection using compression traces

La vie secrète des images JPEG : Détection de falsification via les traces de compression

• Auteur / Autrice : Tina Nikoukhah
• Direction : Rafael Grompone von Gioi, Jean-Michel Morel, Miguel Colom
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques appliquées
• Date : Soutenance le 08/11/2022
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale de mathématiques Hadamard (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Centre de mathématiques et de leurs applications (1990-2019 ; Cachan, Val-de-Marne)
• Partenaire(s) de recherche : référent : École normale supérieure Paris-Saclay (Gif-sur-Yvette, Essonne ; 1912-....)
• Partenaire(s) de recherche : graduate school : Université Paris-Saclay. Graduate School Mathématiques (2020-....)
• Jury : Président / Présidente : Agnès Desolneux
• Jury : Examinateurs / Examinatrices : Luisa Verdoliva, Hany‏ Farid, William Puech, Coloma Ballester
• Jury : Rapporteurs / Rapporteuses : Luisa Verdoliva, Hany‏ Farid, William Puech

Mots clés

Mots clés contrôlés

Truquage (photographie)

Traitement d'images

Mots clés libres

Forensique d'image

Compression JPEG

A contrario

Image Forensics

JPEG Compression

A contrario

Résumé

Avec l'avènement de la photographie numérique et les progrès des outils de retouche photo, modifier une image est devenu facile et accessible à tous. La plupart de ces modifications visent à améliorer l'image, mais certaines ont pour but d'en altérer le sens. De telles contrefaçons peuvent facilement être rendues visuellement réalistes. Heureusement, ils déforment également la structure même de l'image, telle qu'elle se forme au cours de sa chaîne de traitement. En effet, la formation d'une image numérique, des capteurs de la caméra au stockage au format JPEG, laisse des traces caractéristiques, qui agissent comme une signature de l'image. La dissimulation, la modification ou l'ajout d'un objet étranger dans l'image déforme ces signatures et crée des incohérences détectables.Cette thèse étudie la compression JPEG et la signature digitale (sous forme de motifs de blocs de 8x8 pixels) qu'elle laisse sur l'image. Ces motifs sont ensuite exploités pour proposer plusieurs algorithmes de détection de falsification. Ces méthodes sont basées sur la théorie statistique a contrario, conduisant à des algorithmes de décision automatique, ne nécessitant pas d'interprétation visuelle. Parmi les méthodes proposées figure ZERO, un nouvel algorithme de détection de falsification d'images qui analyse les artefacts JPEG et détecte les retouches lorsqu'une anomalie locale est jugée statistiquement significative. Cette méthode constitue l'état de l'art en matière de détection de falsification par les traces JPEG et peut être utilisée par le grand public grâce à un outil développé par l'Agence France Presse.La thèse explore également l'évaluation des méthodes de détection de falsification en général. Une nouvelle méthodologie non sémantique est proposée, ainsi que les jeux de données associés. Ils permettent de caractériser la sensibilité des outils forensiques par rapport à des opérations d'images spécifiques et d'éviter les difficultés des évaluations sémantiques.

With the advent of digital photography and the progress of photo editing tools, modifying an image has become easy and accessible to all. Most of these modifications aim at improving the image, but some are intended at altering its meaning. Such forgeries can easily be made visually realistic. Fortunately, they also distort the very fabric of the image, as it is formed during the camera pipeline. Indeed, the formation of a digital image, from camera sensors to storage in JPEG format, leaves characteristic artifacts, which act as a signature of the image. Concealing, modifying or adding a foreign object in the image distorts these signatures and creates detectable inconsistencies.This thesis studies JPEG compression and the fingerprint (in the form of 8x8 block patterns) that it leaves on the image. The patterns are then exploited to propose several image forensic algorithms. These methods are based on the a contrario statistical theory, leading to automatic decision algorithms, not requiring the need for visual interpretation. Among the proposed methods is ZERO, a new image forensic algorithm which analyzes JPEG artifacts and detects image tampering when a local anomaly is found to be statistically significant. This method is the current state of the art in forgery detection by JPEG traces and can be used by the general public through a tool developed by Agence France Presse.The thesis also explores the evaluation of forgery detection methods in general. A new non-semantic methodology is proposed, together with the associated datasets. They enable to characterize the sensitivity of forensic tools relative to specific image traces and to avoid the difficulties of semantic evaluations.