Analyse de données massives en temps réel pour l’extraction d’informations sémantiques et émotionnelles de la parole

Massive and real-time data analysis in order to extract semantic and emotional information from speech

• Auteur / Autrice : Manon Macary
• Direction : Yannick Estève
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 24/06/2022
• Etablissement(s) : Le Mans
• Ecole(s) doctorale(s) : École doctorale Mathématiques et sciences et technologies de l'information et de la communication (Rennes)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique de l'Université du Mans - Laboratoire d'Informatique de l'Université du Mans / LIUM
• Jury : Examinateurs / Examinatrices : Marie Tahon, Fabien Ringeval, Damien Lolive
• Jury : Rapporteur / Rapporteuse : Martine Adda-Decker, Denis Jouvet

Mots clés

Mots clés contrôlés

Consommateurs -- Satisfaction

Communication téléphonique

Analyse de la conversation

Reconnaissance automatique de la parole

Reconnaissance automatique des émotions

Analyse du discours -- Informatique

Mots clés libres

Reconnaissance de l’émotion continue

Création de Corpus

Satisfaction et Frustration

Embeddings pré-appris

Speech Emotion Recognition

New Corpora

Satisfaction and Frustration

Pre-train embeddings

Résumé

Les centres d'appels reçoivent tous les jours des milliers de coups de téléphone permettant de faire le lien entre des clients et des conseillers. Ainsi, de nombreuses informations peuvent être extraites de ces conversations, dont l'aspect émotionnel.Cette thèse CIFRE a été réalisée en collaboration avec l’entreprise Allo-Media qui est spécialisée dans l'analyse automatique de conversations téléphoniques de centre d'appels. Concrètement, elle met en place des relevés d'information sur différents aspects de la conversation en indexant ces informations pour permettre un traitement automatique des données. L’entreprise cherche à enrichir ses annotations avec une solution innovante permettant de rajouter un aspect émotionnel en adéquation avec le contexte de la relation clientèle afin d'alerter sur les points saillants de la conversation.Cette thèse tente donc de répondre à plusieurs problématiques : (i) tout d'abord la définition de l'émotion de satisfaction et de frustration dans la parole, (ii) la mise en place d'une reconnaissance automatique de ces émotions de façon continue tout au long de la conversation et (iii) des méthodes d'évaluation de ces systèmes automatiques.Les contributions de cette thèse sont : (i) la construction d’un corpus à partir de données réelles, annoté de façon continue en satisfaction et frustration, (ii) la mise en place de différentes stratégies pour construire un système de reconnaissance automatique utilisant des réseaux de neurones profonds en nous comparant à l'état de l'art, (iii) l’exploration de la dissociation des aspects acoustique et linguistique des conversations afin d'améliorer nos systèmes de reconnaissance et enfin (iv) la mise en place d’une évaluation nuancée de ces systèmes.

Call centers receive thousands of calls every day in order to connect clients and agents. Thus lots of information can be extracted from these conversations, including the emotional aspect of the speakers.This CIFRE thesis was carried out in collaboration with the Allo-Media company, that is specialized in the automatic analysis of call center conversations. Concretely, they set up information records on different aspects of the conversation by discretizing the information to allow automatic processing of the data. The company seeks to enrich its annotations with an innovative solution to add an emotional aspect relevant with the context of customer relations in order to alert on the difficult points of the conversation.This thesis therefore attempts to respond to several issues: (i) first of all the definition of the emotion of satisfaction and frustration in speech, (ii) the establishment of an automatic recognition of these emotions on a continuous basis throughout the conversation and (iii) methods to evaluate these automatic systems.The contributions of this thesis are: (i) the construction of a corpus from real data, continuously annotated in satisfaction and frustration, (ii) the implementation of different strategies to build an automatic recognition system using deep neural networks by comparing ourselves to the state of the art, (iii) the exploration of the dissociation of the acoustic and linguistic aspects of conversations in order to improve our recognition systems and finally (iv) the implementation of a nuanced assessment of these systems.