Modélisation profonde basée sur la notion d'attributs de voix pour la reconnaissance du locuteur explicable : application au domaine criminalistique

Deep modeling based on voice attributes for explainable speaker recognition : application in the forensic domain

• Auteur / Autrice : Imen Ben amor
• Direction : Jean-François Bonastre
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 25/04/2024
• Etablissement(s) : Avignon
• Ecole(s) doctorale(s) : Agrosciences et Sciences
• Partenaire(s) de recherche : Laboratoire : Laboratoire informatique d'Avignon
• Jury : Président / Présidente : Didier Meuwly
• Jury : Examinateurs / Examinatrices : Tanja Schultz, Corinne Fredouille
• Jury : Rapporteurs / Rapporteuses : Alessandro, PhD Vinciarelli, Tomi Kinnunen

Mots clés

Mots clés contrôlés

Apprentissage profond

Criminalistique

Empreintes vocales

Réseaux neuronaux (informatique)

Reconnaissance automatique de la parole

Mots clés libres

Reconnaissance du locuteur

Réseaux de neurones

Explicabilité

Interprétabilité

Attributs de voix

Criminalistique

Speaker recognition

Neural networks

Explainability

Interpretability

Voice attributes

Forensics

Résumé

La Reconnaissance Automatique du Locuteur (RAL) a été intégrée dans des applications critiques, allant des services d'assistance personnalisés aux systèmes de sécurité et enquêtes criminelles. Son objectif est de déterminer automatiquement si deux échantillons vocaux proviennent du même locuteur. Ces systèmes reposent principalement sur des réseaux neuronaux (DNN) complexes et présentent leurs résultats par une seule valeur. Malgré les performances élevées démontrées par ces systèmes, ils sont incapable de fournir des informations transparentes sur la nature des représentations vocales, leur encodage et leur utilisation dans le processus de prise de décision. Ce manque de transparence pose d'importants défis pour aborder les préoccupations éthiques et légales, en particulier dans des applications à haut risque telles que la criminalistique. Cette thèse introduit une approche en trois étapes basée sur l'apprentissage profond, conçue pour fournir des résultats de RAL interprétables et explicables. Dans la première étape, nous représentons un extrait vocal par la présence ou l'absence d'un ensemble d'attributs vocaux, partagés entre des groupes de locuteurs et sélectionnés pour être discriminants entre les locuteurs. Cette information est encodée par un vecteur binaire où un coefficient égal à 1 représente la présence de l'attribut correspondant dans l'extrait vocal et 0 son absence. Ce modèle binaire et basé sur les attributs facilite l'interprétabilité et permet une meilleure manipulation de l'information vocale. Les résultats montrent que les représentations obtenues sont plus interprétables mais qu'elles sacrifient légèrement les performances de RAL. Dans la deuxième étape, l'objectif est d'assurer le calcul transparent du rapport de vraisemblance (LR), facilitant une évaluation informative de la valeur de preuve vocale en criminalistique. Nous proposons donc une estimation de LR basée sur l'attribut binaire (BA-LR), qui décompose le processus en sous-processus indépendants, chacun dédié à un attribut. Un LR d'attribut est un LR estimé en utilisant uniquement la présence ou l'absence de l'attribut et sa description, définie par trois paramètres comportementaux explicites. Le LR final est calculé comme le produit des LR d'attribut, en supposant leur indépendance. Cette estimation permet un calcul transparent du LR et une compréhension de la valeur des preuves. Il fournit également des explications détaillées sur la contribution des informations de chaque attribut à la valeur finale du LR, aidant les jurés et les juges dans leur prise de décision. Dans la troisième étape, nous menons une découverte de la nature des attributs. Cette investigation utilise des techniques statistiques, des modèles de substitution ainsi que des stratégies de rétropropagation pour fournir une description des attributs en informations acoustiques, phonétiques et phonémiques. Les explications obtenues servent d'outil précieux pour les phonéticiens afin d'interpréter les attributs contributifs à un LR donné. De plus, notre approche en trois étapes est validée par l'application de BA-LR sur des données de criminalistique réelles. Dans ce contexte, nous appliquons un modèle de régression logistique pour gérer le décalage entre les conditions d'entraînement et les scénarios réels. Les résultats démontrent la robustesse et la capacité de généralisation de BA-LR dans un contexte criminalistique. Dans l'ensemble, cette thèse ouvre une nouvelle perspective sur la RAL explicable, en proposant une solution prometteuse pour une prise de décision transparente, avec un niveau de performance comparable aux systèmes SOTA. Elle fournit aux praticiens de la criminalistique et au tribunal des explications pour comprendre la valeur de la preuve et sert d'outil de découverte pour les phonéticiens, les aidant à mieux comprendre l'information vocale. Des investigations supplémentaires sont essentielles pour une mise en œuvre pratique dans des scénarios réels.

Automatic speaker recognition (ASpR) has been integrated into critical applications, ranging from customised assistant services to security systems and forensic investigations. It aims to automatically determine whether two voice samples originate from the same speaker. These systems primarily rely on complex deep neural networks (DNN) and present their results by a single value. Despite the high performance demonstrated by DNN-based ASpR systems, they struggle to provide transparent insights into the nature of speech representations, its encoding, and its use in decision-making process. This lack of transparency presents significant challenges in addressing ethical and legal concerns, particularly in high-stakes applications such as forensics. This thesis introduces a three-step methodology based on deep learning, designed to provide interpretable and explainable ASpR results. In the first step, we represent a speech extract by the presence or absence of a set of speech attributes, shared among groups of speakers and selected to be speaker discriminant. This information is encoded by a binary vector where a coefficient equal to 1 represent the presence of the corresponding attribute in the speech extract and 0 its absence. This binary and attribute-based modelling facilitates interpretability and allows for a better handle of the speech information. The results show that the obtained representations are more interpretable but they sacrifice a slight loss in ASpR performance. In the second step, the goal is to ensure transparent computation of the likelihood ratio (LR), thereby facilitating a more informed assessment of the value of speech evidence in a courtroom setting. We therefore propose the Binary-Attribute-based LR (BA-LR) framework, that breaks down the scoring process into independent sub-processes, each dedicated to an attribute. An attribute-LR is a LR estimated using only the presence or absence of the attribute and its description, defined by three explicit behavioral parameters. The final LR is calculated as the product of the attribute-LRs, assuming independence between them. This framework enables transparent LR computation and a clearer understanding of the value of evidence. It also provides detailed explanations of the contribution of each attribute's information to the final LR value, aiding juries and judges in decision-making. In the third step, we conduct a discovery of the nature of attributes. This investigation employs statistical techniques, surrogate models as well as backpropagation and alignment strategies to provide a description of attributes in terms of acoustic, phonetic and phonemic information. The obtained explanations serve as a valuable tool for phoneticians to interpret the contributing attributes to a given LR. Additionally, our three-step approach is validated through the application of BA-LR on a forensically realistic dataset. In such context, we apply a Logistic Regression model to handle the mismatch between the training conditions and a real-world scenarios. Results demonstrate the robustness and the generalisation ability of BA-LR in a forensic context. Overall, this thesis opens a new perspective on explainable ASpR, by proposing a promising solution for a transparent decision making, with a level of performance comparable to SOTA systems. It provides forensic practitioners as well as the court with explanations to comprehend the evidential value and serves as a discovery tool for phoneticians, aiding them in better understanding and interpreting speech information. Additional investigations are essential for practical implementation in real-world scenarios.