Confidentialité et traçabilité des données en apprentissage profond

Data Privacy and traceability in Deep Learning

• Auteur / Autrice : Tom Sander
• Direction : Alain Durmus
• Type : Projet de thèse
• Discipline(s) : Mathématiques appliquées
• Date : Inscription en doctorat le ; Soutenance le 09/02/2026
• Etablissement(s) : Institut polytechnique de Paris
• Ecole(s) doctorale(s) : École doctorale de mathématiques Hadamard
• Partenaire(s) de recherche : Laboratoire : CMAP - Centre de Mathématiques appliquées
• Partenaire(s) de recherche : Equipe de recherche : SIMPAS : Signal IMage Probabilités numériques Apprentissage Statistique
• Jury : Président / Présidente : Aurélien Bellet
• Jury : Examinateurs / Examinatrices : Alain Durmus, Eva Giboulot, Jamal Atif, Chuan Guo, Furong Huang
• Jury : Rapporteurs / Rapporteuses : Alain Rakotomamonjy, Furong Huang

Mots clés

Mots clés libres

Confidentialité différentielle

Apprentissage profond

Traitement automatique du langage

Vision artificielle

Tatouage numérique

Deep learning

Differential privacy

Natural Language processing

Vision

Watermarking

Résumé

L'intelligence artificielle moderne est définie par l'échelle : l'augmentation des données et des paramètres conduit à des performances accrues. Cette thèse explore la tension critique qui en découle concernant les ''traces de données''. Ces résidus de l'apprentissage créent un dilemme : ils doivent être effacés pour garantir la confidentialité, mais amplifiés pour assurer la provenance. La première partie aborde l'apprentissage confidentiel. Nous développons d'abord des lois d'échelle pour la confidentialité différentielle (DP-SGD) via l'heuristique TAN, permettant d'optimiser les hyperparamètres à moindre coût. Nous analysons ensuite la robustesse du biais implicite du SGD face au bruit, avant de proposer une méthode d'apprentissage de représentations multimodale (DP-Cap) utilisant des légendes plutôt que des pixels. La seconde partie se concentre sur le tatouage numérique (watermarking). Nous démontrons la ''radioactivité'' des données : les modèles entraînés sur des textes tatoués en gardent une trace détectable, ce qui permet d'identifier la distillation illicite et la contamination des benchmarks. Enfin, nous introduisons Watermark Anything (WAM), un modèle de tatouage d'image localisé capable de résister aux modifications complexes pour certifier l'authenticité du contenu.

Modern artificial intelligence is defined by scale: more data and parameters consistently lead to better performance. This thesis investigates the critical tension this creates regarding ''data traces''. These remnants of the training process pose a dilemma: they must be erased to ensure privacy, yet amplified to guarantee provenance. The first part addresses private machine learning. We first develop scaling laws for Differential Privacy (DP-SGD) using the TAN heuristic, enabling efficient hyperparameter tuning. We then analyze the robustness of SGD's implicit bias against noise, and propose a multimodal representation learning method (DP-Cap) that sets a new state-of-the-art by leveraging captions instead of pixel reconstruction. The second part focuses on watermarking. We demonstrate the ''radioactivity'' of data: models trained on watermarked text retain a detectable trace, enabling the identification of illicit distillation and benchmark contamination. Finally, we introduce Watermark Anything (WAM), a localized image watermarking model capable of withstanding complex edits to certify content authenticity.