Une approche computationnelle pour caractériser les dynamiques interpersonnelles dans les conversations naturelles

A data intensive approach for characterizing speech interpersonal dynamics in natural conversations

• Auteur / Autrice : Simone Fuscone
• Direction : Laurent Prévot, Benoît Favre
• Type : Thèse de doctorat
• Discipline(s) : Sciences du langage
• Date : Soutenance le 17/12/2020
• Etablissement(s) : Aix-Marseille
• Ecole(s) doctorale(s) : École Doctorale Cognition, Langage et Éducation (Aix-en-Provence)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Parole et langage (Aix-en-Provence, Bouches-du-Rhône ; 1976-...) - Laboratoire d’Informatique et Systèmes (Marseille ; La Garde, Var ; 2018-….)
• Jury : Président / Présidente : Štefan Beňuš
• Jury : Examinateurs / Examinatrices : Roxane Bertrand
• Jury : Rapporteurs / Rapporteuses : Giuseppe Riccardi, Julia Hirschberg

Mots clés

Mots clés contrôlés

Convergence (linguistique)

Interlocution (linguistique)

Analyse de la conversation

Discours (linguistique)

Parole

Mots clés libres

.

.

.

.

Machine learning

Speech activities

Convergence

Natural conversation

Résumé

Lors d’une conversation, les participants ont la tendance à accorder, consciemment ou non, leur production communicative par rapport à leur interlocuteur. Il est généralement admis que dans des circonstances normales, ce phénomène entraîne une convergence des paramètres de parole des deux participants. Il est généralement connu que dans des circonstances normales, ce phénomène génère une convergence des paramètres du discours des deux participants. Alors que ces études impliquent souvent des conditions de laboratoire contrôlées, les mécanismes qui régissent le phénomène dans les conversations naturelles sont moins connus, en raison du flux spontané des conversants et de la grande variabilité des paramètres suivis. En outre, on ne sait pas encore très bien comment les participants modifient leur style de parole (c'est à dire la dynamique) au cours de la conversation et quels sont les facteurs qui influencent ces modifications. Cette thèse présente une nouvelle méthodologie pour aborder ces aspects.

During a conversation, participants tend to tune, consciously or not, their communicative production in regards to their interlocutor. It is generally admitted, that under standard circumstances, these phenomena result in convergence of the two participants’ speech parameters. Past literature offers a large part of studies describing the effects of convergence in interpersonal dynamics but there are still some unclear aspects. These concerns firstly the mechanisms that rule the phenomenon in natural conversations. These are hard to be studied due to the spontaneous flow of the conversants that results to be noisy and variable. In second place in this kind of conversation is still not well known how participants modify their speech style (the dynamics i.e.) in the course of the conversation. In this thesis, we aim to validate previous results in acoustic-prosodic convergence and provide novel approaches to have a partial a posteriori filter on natural conversations and to track the interpersonal dynamics. We used classical machine learning approaches (Linear mixed models, Random forest e.g.) and more recent algorithms of deep learning (LSTM architecture). These results extend the landscape of convergence effects in the not controlled dataset and offer novel approaches, concerning the method to control the variability of natural conversations and the prediction task paradigm to evaluate the interpersonal dynamics, consisting in evaluating the influence of the speaker and interlocutor on each other speech style.