Analyse automatique de la cohésion dans l'interaction de petits groupes

Automated analysis of cohesion in small groups interactions

• Auteur / Autrice : Lucien Maman
• Direction : Laurence Likforman-Sulem, Giovanna Varni
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 15/09/2022
• Etablissement(s) : Institut polytechnique de Paris
• Ecole(s) doctorale(s) : École doctorale de l'Institut polytechnique de Paris
• Partenaire(s) de recherche : Etablissement opérateur d'inscription : Télécom Paris (Palaiseau, Essonne ; 1878-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Traitement et communication de l'information (Paris ; 2003-....)
• Jury : Président / Présidente : Catherine Pelachaud
• Jury : Examinateurs / Examinatrices : Laurence Likforman-Sulem, Giovanna Varni, Catherine Pelachaud, Albert Ali Salah, Dominique Vaufreydaz, Slim Essid
• Jury : Rapporteur / Rapporteuse : Albert Ali Salah, Dominique Vaufreydaz

Mots clés

Mots clés contrôlés

Intelligence artificielle

Mots clés libres

Analyse multimodale

Apprentissage automatique

Apprentissage profond

Cohésion

Traitement des signaux sociaux

Multimodal analysis

Machine learning

Deep learning

Cohesion

Social signal processing

Résumé

Au cours de la dernière décennie, un nouveau domaine de recherche multidisciplinaire appelé traitement des signaux sociaux (SSP) a émergé. Il vise à permettre aux machines de détecter, reconnaître et afficher les signaux sociaux humains. L'analyse automatisée des interactions de groupe est l'une des tâches les plus complexes abordée par ce domaine de recherche. Récemment, une attention particulière s'est portée sur l'étude automatisée des états émergents. En effet, ceux-ci jouent un rôle important dans les dynamiques d'un groupe car ils résultent des interactions entre ses membres. Dans cette Thèse, nous abordons l'analyse automatique de la cohésion dans les interactions de petits groupes. La cohésion est un état émergent affectif multidimensionnel qui peut être défini comme un processus dynamique, reflété par la tendance d'un groupe à rester ensemble pour poursuivre des objectifs et/ou des besoins affectifs. Malgré la riche littérature disponible sur la cohésion du point de vue des Sciences Sociales, l'analyse automatique de la cohésion en est encore à ses débuts. En s'inspirant de connaissances tirées des Sciences Sociales, cette thèse vise à développer des modèles informatiques de cohésion suivant quatre axes de recherche, en s'appuyant sur des techniques d'apprentissage automatique et d'apprentissage profond. Ces modèles doivent en effet tenir compte de la nature temporelle de la cohésion, de sa multidimensionnalité, de la façon de modéliser la cohésion du point de vue des individus et du groupe, d'intégrer les relations entre ses dimensions et leur évolution dans le temps, ainsi que de tenir compte des relations entre la cohésion et d'autres processus de groupe. De plus, face à un manque de données disponibles publiquement, cette thèse a contribué à la collecte d'une base de données multimodales spécifiquement conçue pour étudier la cohésion, et pour contrôler explicitement ses variations dans le temps. Une telle base de données permet, entre autres, de développer des modèles informatiques intégrant la cohésion perçue par les membres du groupe et/ou par des points de vue externes. Nos résultats montrent la pertinence de s'inspirer des théories tirées des Sciences Sociales pour développer de nouveaux modèles computationnels de cohésion et confirment les avantages d'explorer chacun des quatre axes de recherche.

Over the last decade, a new multidisciplinary research domain named Social Signal Processing (SSP) emerged. It is aimed at enabling machines to sense, recognize, and display human social signals. One of the challenging tasks addressed by SSP is the automated group interaction analysis. Recently, a particular emphasis is given to the automated study of emergent states as they play an important role in group dynamics. These are social processes that develop throughout group members' interactions.In this Thesis, we address the automated analysis of cohesion in small groups interactions. Cohesion is a multidimensional affective emergent state that can be defined as a dynamic process reflected by the tendency of a group to stick together to pursue goals and/or affective needs. Despite the rich literature available on cohesion from a Social Sciences perspective, its automated analysis is still in its infancy. Grounding on Social Sciences' insights, this Thesis aims to develop computational models of cohesion following four axes research axes, leveraging Machine Learning and Deep Learning techniques. Computational models of cohesion, indeed, should account for the temporal nature of cohesion, the multidimensionality of this group process, take into account how to model cohesion from both individuals and group perspectives, integrate the relationships between its dimensions and their development over time, and take heed of the relationships between cohesion and other group processes.In addition, facing a lack of publicly available data, this Thesis contributed to the collection of a multimodal dataset specifically designed for studying group cohesion and for explicitly controlling its variations over time. Such a dataset enables, among other perspectives, further development of computational models integrating the perceived cohesion from group members and/or external points of view. Our results show the relevance of leveraging Social Sciences' insights to develop new computational models of cohesion and confirm the benefits of exploring each of the four research axes.