Le regard dans les interactions lors d’entretiens en face à face et son analyse parmi les signaux sociaux

Role of gaze in face-to-face interactions and its analysis among social cues

• Auteur / Autrice : Samuel Bovée
• Direction : Olivier Lézoray
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance en 2016
• Etablissement(s) : Caen
• Ecole(s) doctorale(s) : École doctorale structures, informations, matière et matériaux (Caen ; 1992-2016)
• Partenaire(s) de recherche : Laboratoire : Groupe de recherche en informatique, image, automatique et instrumentation de Caen (1995-....)
• Partenaire(s) de recherche : Autre partenaire : Normandie Université (2015-....)
• Jury : Examinateurs / Examinatrices : Olivier Lézoray, Mohamed Chetouani, Frédéric Morain-Nicolier, Marinette Revenu
• Jury : Rapporteur / Rapporteuse : Mohamed Chetouani, Frédéric Morain-Nicolier

Mots clés

Mots clés contrôlés

Apprentissage supervisé (intelligence artificielle)

Regard

Perception visuelle

Communication non verbale

Interaction sociale

Mots clés libres

Estimation de la pose de la tête

Signaux sociaux

Résumé

La communication orale joue un rôle majeur dans la vie sociale et professionnelle. L’entretien en face à face, très prisé dans les domaines commerciaux et managériaux, reste l’interaction interpersonnelle humaine la plus riche grâce à l’utilisation innée et conjointe de nombreux signaux sociaux verbaux et non verbaux. C’est pour cette raison que nous développons chez Zero To One Technology un outil de diagnostic et de formation pédagogique : le Comscope. Par la pratique d’entretiens simulés et enregistrés, puis par l’extraction et l’analyse automatique des signaux sociaux, il permet la mesure de la qualité de l’interaction en vue de son amélioration. Les recherches de cette thèse s’orientent principalement sur l’analyse du signal regard. Nous proposons un nouvel estimateur de pose de la tête, de direction du regard et des temps du focus d’attention sur l’interlocuteur. Tous ces estimateurs sont basés sur une détection des points d’intérêts du visage et sur l’extraction de la position de l’iris. À partir de caméras basses résolutions captant en lumière visible, ils doivent fonctionner ensemble en temps réel et dans un environnement non-contrôlé. À partir des caractéristiques extraites du regard (mouvements et fixations oculaires, temps d’attention), du verbal par l’estimation des temps de parole et par la transcription de l’échange (analyse lexicologique, étiquetage de l’entretien), et par leurs analyses multimodales et croisées, nous proposons également une approche d’évaluation automatique par classification de la qualité technique de l’entretien.

Oral communication plays a key role in social and professional relations. Face-to-face interview, appreciated in managerial and commercial areas, remains the richest human interpersonal interaction thanks to innate and joint use of verbal and non-verbal social cues. That is the reason why at Zero to One Technology, we develop a diagnostic and pedagogical tool : the Comscope. With simulated and recorded interview practicing, then by extracting and analyzing automatically social cues, it provides measurement of the quality of the interaction in order to improve it. The research for this thesis is principally directed towards the analysis of gaze signal. In order to do so, we created new estimators for head-pose, gaze direction and time of focus of attention on the interlocutor. All the estimators are based on facial landmarks detection and iris location extraction. By use of low-resolution video recording devices in visible light, they must work together in real time and in uncontrolled environment. We also created away of assessing automatically the technical quality of an interview by classification. We used the features extracted from gaze (eye movements and fixations, time of attention), speech (speaking time estimation and transcript of exchange : lexicology analysis, interview labelling), and their multimodal and crossed analysis.