Analyse des interactions dans des vidéos d'entretiens commerciaux en face-à-face

Analysis of interactions in face-to-face sales interview videos

• Auteur / Autrice : Jad Haddad
• Direction : Olivier Lézoray
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 08/12/2021
• Etablissement(s) : Normandie
• Ecole(s) doctorale(s) : École doctorale mathématiques, information et ingénierie des systèmes (Caen)
• Partenaire(s) de recherche : Laboratoire : Groupe de recherche en informatique, image, automatique et instrumentation de Caen (1995-....)
• Partenaire(s) de recherche : établissement de préparation : Université de Caen Normandie (1971-....)
• Jury : Président / Présidente : Renaud Séguier
• Jury : Examinateurs / Examinatrices : Olivier Lézoray, Yassine Ruichek, Fan Yang Song, Philippe Hamel
• Jury : Rapporteur / Rapporteuse : Yassine Ruichek, Fan Yang Song

Mots clés

Mots clés contrôlés

Apprentissage supervisé (intelligence artificielle)

Reconnaissance automatique des émotions

Perception visuelle

Communication non verbale

Interaction sociale

Mots clés libres

Signaux sociaux

Social interaction

Social cues

Nonverbal communication

Visual perception

Emotion recognition

Supervised learning (machine learning)

Résumé

La communication orale joue un rôle crucial dans les relations sociales et professionnelles. Les communications en face-à-face, précieuses dans les entretiens de direction et de vente, sont la source la plus riche d’informations sociales car elles combinent communication verbale et non verbale. C’est pourquoi chez Zero to One Technology®, nous développons un outil de diagnostic et pédagogique : le Comscope®. Avec la pratique de l’entretien de rôle et enregistré, puis l’extraction et l’analyse d’indices sociaux, le Comscope mesure automatiquement la qualité de l’interaction pour l’améliorer.Les recherches de cette thèse sont principalement orientées vers la détection des émotions des interlocuteurs lors d’un entretien. Pour ce faire, nous explorons les différentes modalités d’expression des émotions. Nous développons d’abord un modèle pour détecter les émotions faciales à l’aide d’approches conventionnelles, puis développons des modèles d’apprentissage profond pour détecter les émotions selon trois modalités différentes : vidéo, audio et texte. Enfin, nous développons un modèle de fusion pour combiner les trois modalités et produire des prédictions d’émotions trimodales.

Oral communication plays a crucial role in social and professional relations. Face-to-face communications, valuable in management and sales interviews, are the richest source of social information because they combine verbal and non-verbal communication. That is why at Zero to One Technology®, we develop a diagnostic and pedagogical tool: the Comscope®. With role played and recorded interview practicing, then extracting and analyzing social cues, the Comscope automatically measures the quality of the interaction to improve it.The research for this thesis is principally directed towards the emotion detection of the interlocutors during an interview. In order to do so, we explore the different modalities in which emotions are expressed. We first develop a model to detect facial emotions using conventional approaches and then develop deep learning models to detect emotions in three different modalities: video, audio, and text. Finally, we develop a fusion model to combine the three modalities and output trimodal emotion predictions.