Détection d'anomalie dans le discours en utilisant la voix et les expressions faciales

Multimodal anomaly detection in discourse using speech and facial expressions

• Auteur / Autrice : Cédric Fayet
• Direction : Pierre-François Marteau
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 18/12/2018
• Etablissement(s) : Rennes 1
• Ecole(s) doctorale(s) : École doctorale Mathématiques et sciences et technologies de l'information et de la communication (Rennes)
• Partenaire(s) de recherche : ComuE : Université Bretagne Loire (2016-2019)
• Partenaire(s) de recherche : Laboratoire : Institut de recherche en informatique et systèmes aléatoires (Rennes)

Mots clés

Mots clés contrôlés

Apprentissage automatique

Expression du visage

Informatique

Multimodalité (linguistique)

Mots clés libres

Anomalie

Expressions faciales

Parole

Apprentissage artificiel

Anomaly

Facial expressions

Speech

Machine learning

Résumé

Cette thèse traite de la détection multimodale des anomalies dans le discours en utilisant les expressions faciales et l'expressivité dans la voix. Ces deux modalités sont des vecteurs d’émotions, des intentions, et peuvent refléter l'état d'esprit d'un être humain. Dans ce travail, un corpus de discours contenant des anomalies induites ou actées a été construit. Il a permis de mettre à l'épreuve une chaîne de détection à base de classification semi-supervisée. GMM, One Class SVM et Isolation Forest sont quelques exemples de modèles utilisés. Cela a également permis d'étudier la contribution de chacune des modalités et leur apport conjoint sur l'efficacité de la détection.

This thesis is about multimodal anomaly detection in discourse using facial expressions ans speech expressivity. These two modalities are vectors of emotions, intentions, and can reflect the state of mind of a human being. In this work, a corpus on discourse containing some induced and acted anomalies has been built. This corpus has enabled testing a detection chain based on semi-supervised classification. GMM, One class SVM and Isolation forest are examples of models that have been used. It also has enabled to study the contribution of each modality and their joint contribution to the detection efficiency.