Enrichissement automatique des scripts de séries TV et films

Automatic enrichment of TV series and movies transcripts

• Auteur / Autrice : Benjamin Maurice
• Direction : Hervé Bredin, Camille Guinaudeau
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 01/11/2017
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : LIMSI - Laboratoire d'Informatique pour la Mécanique et les Sciences de l'Ingénieur
• Partenaire(s) de recherche : Equipe de recherche : TLP - Traitement du Langage Parlé
• Partenaire(s) de recherche : établissement de préparation de la thèse : Université Paris-Sud (1970-2019)

Mots clés

Mots clés libres

Vision par ordinateur

Traitement automatique des langues naturelles

Traitement de la parole

Apprentissage automatique

Apprentissage profond

Computer vision

Deep learning

Machine learning

Natural language processing

Speech processing

Résumé

L'objectif de ce projet est d'exploiter le flux audio en profondeur pour enrichir de façon automatique les scripts et sous-titres de séries télévisées et de films, en y ajoutant automatiquement les noms et positions des personnages. locuteur A — 'Nice to meet you, I am Leonard, and this is Sheldon. We live across the hall.' locuteur B — 'Oh. Hi. I’m Penny.' locuteur A — 'Sheldon, what the hell are you doing?' locuteur C — I am not quite sure yet. Do you know where Howard lives? En lisant ces deux conversations, un humain peut facilement déterminer que 'locuteur A' s'appele 'Leonard', 'locuteur B' est 'Penny' et 'locuteur C' est 'Sheldon'. L'objectif de ce projet est de combiner des approches de traitement automatique de la langue naturelle et de la parole pour arriver à ce résultat automatiquement.

The goal of this project is to fully exploit the audio stream to automatically enrich speech transcripts and subtitles of TV series and movies with the name and position of the characters. speaker A — 'Nice to meet you, I am Leonard, and this is Sheldon. We live across the hall.' speaker B — 'Oh. Hi. I’m Penny.' speaker A — 'Sheldon, what the hell are you doing?' speaker C — I am not quite sure yet. Do you know where Howard lives? Just looking at these two short conversations, a human can easily infer that 'speaker A' is actually 'Leonard', 'speaker B' is Penny and 'speaker C' is Sheldon. The objective of this project is to combine natural language processing and speech processing to do the same automatically.