Spoofing-robust Automatic Speaker Verification : Architecture, Explainability and Joint Optimisation

Vérification automatique du locuteur robuste à l'usurpation de l'identité : Architecture, Explicabilité et Optimisation Conjointe

• Auteur / Autrice : Wanying Ge
• Direction : Nicholas W. D. Evans, Massimiliano Todisco
• Type : Thèse de doctorat
• Discipline(s) : Sciences de l'ingénieur
• Date : Soutenance le 30/05/2024
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris (1992-...)
• Partenaire(s) de recherche : Laboratoire : Institut EURECOM (Sophia-Antipolis, Alpes-Maritimes)
• Jury : Président / Présidente : Marie Tahon
• Jury : Examinateurs / Examinatrices : Kong-Aik Lee, Chiara Galdi, Itshak Lapidot
• Jury : Rapporteurs / Rapporteuses : Marie Tahon, Driss Matrouf

Mots clés

Mots clés contrôlés

Reconnaissance automatique de la parole

Systèmes informatiques -- Mesures de sûreté

Supposition de personne

Authentification

Empreintes vocales

Mots clés libres

Usurpation d'identité

ASVspoof

Vérification du haut-parleur

Spoofing

ASVspoof

Speaker verification

Résumé

Cette thèse explore les systèmes de vérification automatique du locuteur (ASV) et leurs vulnérabilités aux attaques de spoofing, soulignant la nécessité de contre-mesures robustes contre le spoofing (CMs). Elle présente l'application de la recherche d'architecture différentiable partiellement connectée (PC-DARTS) pour optimiser les architectures de réseau pour la lutte contre l'usurpation de la voix, démontrant une performance compétitive et une meilleure généralisation contre les attaques non vues. En outre, il utilise SHapley Additive exPlanations (SHAP) pour analyser et visualiser l'impact des caractéristiques d'entrée individuelles sur les performances de détection, ce qui permet de mieux comprendre le comportement du système et les caractéristiques de l'attaque. Enfin, il propose un système intégré de vérification du locuteur sensible à l'usurpation, en soulignant les avantages et les défis de l'optimisation conjointe de l'ASV et des CM pour améliorer les capacités de détection et la robustesse du système contre les attaques d'usurpation.

This thesis explores Automatic Speaker Verification (ASV) systems and their vulnerabilities to spoofing attacks, highlighting the necessity for robust spoofing countermeasures (CMs). It introduces the application of Partially Connected Differentiable Architecture Search (PC-DARTS) for optimizing network architectures for voice anti-spoofing, demonstrating competitive performance and better generalization against unseen attacks. Further, it employs SHapley Additive exPlanations (SHAP) to analyse and visualise the impact of individual input features on detection performance, providing insights into system behaviour and attack characteristics. Lastly, it proposes an integrated spoofing-aware speaker verification system, emphasizing the benefits and challenges of joint optimization of ASV and CMs for enhanced detection capabilities and system robustness against spoofing attacks.