Un premier pas vers la caractérisation de l'information véhiculée par les voix actées : dualité des informations personnage et locuteur

Voice recommendation by deep learning

• Auteur / Autrice : Mathias Quillot
• Direction : Jean-François Bonastre
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 27/09/2022
• Etablissement(s) : Avignon
• Ecole(s) doctorale(s) : École doctorale Sciences et agrosciences (Avignon)
• Partenaire(s) de recherche : Laboratoire : Laboratoire informatique d'Avignon
• Jury : Président / Présidente : Corinne Fredouille
• Jury : Examinateurs / Examinatrices : Richard Dufour, Marie Tahon, Magalie Ochs, Nicolas Obin
• Jury : Rapporteur / Rapporteuse : Chloé Clavel, Julien Pinquier

Mots clés

Mots clés contrôlés

Acteurs de doublage

Traitement automatique de la parole

Apprentissage profond

Apprentissage supervisé (intelligence artificielle)

Mots clés libres

Voix actées

Recommandation voix

Apprentissage profond

Machine learning

Voice recommendation

Deep learning

Machine learning

Acted voices

Résumé

Avant d’être distribuée dans différents pays, une œuvre telle qu’un jeu vidéo ou un film doit être changée et adaptée. Le sous-titrage et le doublage sont deux options pour adapter une œuvre. Si le sous-titrage est moins coûteux à réaliser, le doublage convient mieux à certains spectateurs qui préfèrent écouter les paroles, généralement dans leur langue natale, plutôt que de lire des sous-titres tout en écoutant les paroles d’une autre langue. Pour réaliser le doublage d’une œuvre, la première étape consiste à sélectionner les comédiens, parmi un ensemble de candidats, dont les voix vont remplacer celles d’origine. Cette sélection est le Casting Vocal. Elle est réalisée par le Directeur Artistique (DA), parfois nommé le directeur de casting. Avec l’apparition de nouvelles plateformes de streaming telles que Disney+ et Amazon Prime et l’accroissement fulgurant de l’industrie du jeu vidéo, le nombre d’œuvres à distribuer à l’international augmente fortement. En réponse à cette demande, de plus en plus de comédiens sont disponibles dans le marché des voix. Le DA peut passer à côté de talents qui lui sont inconnus puisqu’il lui est impossible d’auditionner tous les candidats. Des outils de recommandation et de recherche de comédiens, basés sur le traitement automatique de la parole, aideraient les DA à trouver de nouveaux talents qui enrichiraient la diversité vocale des œuvres pour une meilleure immersion du public. S’intéresser à la recommandation de comédiens implique d’étudier le concept de « voix actée ». Dans les œuvres multimédia, la voix actée est exprimée par des acteurs professionnels ; son but est de produire chez le spectateur l’effet désiré en donnant un comportement particulier au personnage. Son étude implique une double complexité en terme de production et de perception qui explique pourquoi la voix actée est si peu présente dans la littérature du traitement de la parole. Des travaux précédents ont abordé le problème du casting vocal en se focalisant sur les voix de personnages de jeux vidéos. Dans ces travaux, la similarité de voix est centrale. Des systèmes exploitent les associations entre comédien d’origine et comédien doubleur pour modéliser une partie du processus de décision de l’opérateur (le DA). La tâche consiste à prédire si les deux voix fournies au systèmes jouent le même personnage sous la forme d’une mesure de similarité personnage. Dans ce manuscrit, nous nous intéressons à l’information personnage : l’ensemble des signes acoustiques dans un enregistrement vocal qui caractérisent le personnage joué. Bien que de précédents travaux aient montré l’existence d’une telle information dans la voix actée, la nature de cette information reste encore en grande partie inconnue. Nous cherchons dans ce manuscrit à éclairer des zones d’ombres en étudiant deux questions : — Quel lien entretient l’information personnage avec son comédien ? — Quels sont les marqueurs vocaux qui donnent forme au personnage ? Dans un premier temps, nous construisons un protocole pour évaluer la présence d’information personnage dite « indépendante du locuteur ». Dans nos expériences, nous montrons que cette information existe mais qu’elle est très peu exprimée dans nos données. Dans un second temps, nous montrons dans une expérience que l’information locuteur est utile à la construction de systèmes dédiés à la caractérisation du personnage joué. Enfin, nous proposons une expérience qui consiste, depuis des étiquettes personnage et des enregistrements, à extraire des marqueurs vocaux dédiés à la caractérisation du personnage joué.

Before being distributed in different countries, a media content such as a video game or a movie must be changed and adapted. Subtitling and dubbing are two options for adapting a media content. While subtitling is less expensive to produce, dubbing is often more suitable to some viewers who prefer to listen to the speech, usually in their native language, rather than reading subtitleswhile listening to the speech in another language. The first step in dubbing a media content is to select the voice actors, from a pool of candidates, whose voices will replace the original ones. This selection is known as voice casting. It is carried out by the Artistic Directors (AD), sometimes referred to as casting directors. With the emergence of new streaming platforms such as Disney+ and Amazon Prime and the meteoric rise of the video game industry, the amount of media content to be distributed internationally is increasing significantly. In response to this demand, more and more voice actors are available in the voice market and the AD may miss out on unknown talent since it is impossible to audition all candidates. Voice actor recommandation and search tools, based on speech processing can help AD discover new talent with the potential to enrich the vocal diversity in media content which in turn can result in better audience immersion. Work focused on the recommendation of voice actors implies the study of « acted voice » concept. In multimedia works, the acted voice is produced by professional actors ; its purpose is to produce in the spectator the desired effect by giving a particular behavior to the character. Its study implies a double complexity in terms of production and perception that explains why the acted voice is so little present in the literature of speech processing.Previous work has addressed the problem of voice casting by focusing on the voices of video game characters. In this work, voice similarity is central. Systems exploit the associations between the original actor and the dubbing one to model part of the operator’s decision process (the AD). The task is to predict whether the two voices provided to the system play the same characterin the form of a character similarity measure. In this manuscript, we are interested in character information : the set of acoustic signs in a voice recording that characterize the played character. Although previous work has shown the existence of such information in the acted voice, the nature of this information is still largely unknown. In this thesis, we seek to shed light on some of these grey areas by investigating two questions : — How does the character information relate to its actor ? — What are the vocal markers that shape a character ? First, we build a protocol to evaluate the presence of speaker-independent character information. In our experiments, we show that this information exists but has limited expressiveness in our data. Then, we show that speaker information is useful to build systems dedicated to the characterization of the character played in a recording.Finally, we propose an experiment which consists in extracting, from character labels and recordings, vocal markers dedicated to the characterization of the character played in a recording.