Reconnaître les personnes à leur voix : définition d'un cadre scientifique pour garantir la fiabilité des résultats d'une comparaison de voix dans le cadre criminalistique

Recognizing people by their voice : defining a scientific framework to ensure the reliability of forensic voice comparison results

• Auteur / Autrice : Anais Chanclu
• Direction : Jean-François Bonastre
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 11/12/2023
• Etablissement(s) : Avignon
• Ecole(s) doctorale(s) : École doctorale 536 « Sciences et agrosciences » (Avignon)
• Partenaire(s) de recherche : Laboratoire : Laboratoire informatique d'Avignon
• Partenaire(s) de recherche : financement : Agence nationale de la recherche (France)
• Jury : Président / Présidente : Christine Meunier
• Jury : Rapporteurs / Rapporteuses : Martine Adda-Decker, Julien Pinquier

Mots clés

Mots clés contrôlés

Fiabilité

Reconnaissance automatique de la parole

Voix

Apprentissage profond

Apprentissage automatique

Empreintes vocales

Criminalistique

Mots clés libres

Comparaison de voix

Criminalistique

Reconnaissance du locuteur

Apprentissage automatique

Apprentissage profond

Fiabilité

Standardisation

Perception du locuteur

Caractérisation des voix

Forensic voice comparison,

Speaker recognition

Machine learning

Deep learning

Reliability

Standardisation

Speaker perception

Voice characterization

Résumé

Dans le domaine criminalistique, les pratiques de comparaison de voix ont beaucoup évolué ces dernières décennies. Cependant, elles manquent de standardisation et les résultats obtenus peuvent être décriés dans les tribunaux. L’objectif de ce travail de recherche est de définir un cadre scientifique permettant d’évaluer la fiabilité des résultats d’une comparaison de voix dans un cadre criminalistique. Dans un premier temps, nous présentons les bases de données FABIOLE 2 et PTSVOX, spécialement conçues pour répondre aux problématiques de comparaison de voix en criminalistique, ce que ne font pas les bases de données existantes telles que Voxceleb. La base de données FABIOLE 2 se concentre sur la variabilité intralocuteur, souvent négligée dans les études de comparaison de voix, tandis que la base de données PTSVOX se rapproche des conditions réelles. Dans un second temps, nous introduisons le concept de box-rule, qui est un cadre scientifique regroupant un ensemble de conditions dans lesquelles la fiabilité d’une comparaison de voix est connue. Pour définir ce cadre, l’influence de certains facteurs sur la performance d’une comparaison de voix est étudiée en utilisant la base de données FABIOLE 2. Nos résultats montrent que la durée des enregistrements, la différence de durée entre les enregistrements, le genre, l’âge, et l’écart temporel entre les enregistrements à comparer influent sur la performance d’un système de comparaison de voix. Ensuite, nous étudions la perception humaine des locuteurs par le biais d’une tâche de regroupement de voix en locuteurs. Cette approche permet de s’intéresser à la reconnaissance humaine des locuteurs sans passer par des tests binaires, et ainsi limiter les biais qu’ils peuvent engendrer. Nous montrons que la performance des auditeurs n’est pas homogène et qu’elle est influencée par la langue maternelle. Enfin, nous nous intéressons à la caractérisation des voix, qui peut ajouter une information supplémentaire à une comparaison de voix. Nous nous concentrons sur la détection du type de phonation et nous proposons un nouveau système, reposant sur une architecture neuronale profonde et d’une cascade de classifieurs binaires. Ce système obtient de très bons résultats sur les voyelles prépausales de PTSVOX, en milieu fermé, ce qui nous encourage à généraliser ce système à l’ensemble des phonèmes sonores. Les résultats de la généralisation montrent une hétérogénéité entre les locuteurs, mais aussi entre les femmes et les hommes dans les tendances langagières. Pour conclure, ce travail marque une première étape dans la définition d’un cadre scientifique pour la criminalistique et explore plusieurs pistes pour garantir la fiabilité des résultats d’une comparaison de voix. Il ouvre également de nouvelles perspectives tant pour compléter la box-rule que pour caractériser les voix et nous espérons qu’il mènera à des pratiques de comparaison de voix standardisées pour la criminalistique.

In the field of forensic science, voice comparison practices have evolved significantly in recent decades. However, they lack standardization, and the results obtained can be criticised in courtrooms. The purpose of this research is to define a scientific framework to assess the reliability of voice comparison results in a forensic context. Firstly, we introduce the FABIOLE 2 and PTSVOX databases which are specifically designed to address voice comparison issues in forensics unlike databases such as Voxceleb. The FABIOLE 2 database focuses on intraspeaker variability, often overlooked in voice comparison studies, while the PTSVOX database approaches real-life conditions. Secondly, we introduce the concept of box-rule, which is a scientific framework comprising a set of conditions under which the reliability of voice comparison is known. To define this framework, we study the influence of specific factors on voice comparison performance using the FABIOLE 2 database. Our results show that recording duration, difference of duration between recordings, gender, age, and the time gap between recordings influence the performance of a voice comparison system. Next, we study human perception of speakers through a task of speaker clustering. This approach allows us to focus on human speaker recognition without resorting to binary tests, thus limiting the biases they may introduce. We show that listener performance is not homogeneous and is influenced by the native language. Finally, we focus on voice characterization, which can provide additional information for voice comparison. We focus on detecting phonation types and offer a new system based on a deep neural architecture and a cascade of binary classifiers. This system achieves very good results on pre-pausal vowels from PTSVOX, in a closed environment, which encourages us to generalise this system to all voiced phonemes. Generalization results show heterogeneity among speakers, as well as between women and men. In conclusion, this work marks a first step in defining a scientific framework for forensics and explores several avenues to ensure the reliability of voice comparison results. It also opens up new perspectives for both completing the box-rule and characterizing voices and we hope it will lead to standardise forensic voice comparison practices.