Multimodal anomaly detection in discourse using speech and facial expressions

par Cédric Fayet

Thèse de doctorat en Informatique

Sous la direction de Pierre-François Marteau.

Soutenue le 18-12-2018

à Rennes 1 , dans le cadre de École doctorale Mathématiques et sciences et technologies de l'information et de la communication (Rennes) , en partenariat avec Université Bretagne Loire (2016-2019) (ComuE) et de Institut de recherche en informatique et systèmes aléatoires (Rennes) (laboratoire) .

mots clés

• Anomalie
• Expressions faciales
• Parole
• Apprentissage artificiel
• Multimodalité (linguistique) -- Informatique
• Expression du visage
• Apprentissage automatique

Titre traduit

Détection d'anomalie dans le discours en utilisant la voix et les expressions faciales

Résumé

Cette thèse traite de la détection multimodale des anomalies dans le discours en utilisant les expressions faciales et l'expressivité dans la voix. Ces deux modalités sont des vecteurs d’émotions, des intentions, et peuvent refléter l'état d'esprit d'un être humain. Dans ce travail, un corpus de discours contenant des anomalies induites ou actées a été construit. Il a permis de mettre à l'épreuve une chaîne de détection à base de classification semi-supervisée. GMM, One Class SVM et Isolation Forest sont quelques exemples de modèles utilisés. Cela a également permis d'étudier la contribution de chacune des modalités et leur apport conjoint sur l'efficacité de la détection.

mots clés

• Anomaly
• Facial expressions
• Speech
• Machine learning

Résumé

This thesis is about multimodal anomaly detection in discourse using facial expressions ans speech expressivity. These two modalities are vectors of emotions, intentions, and can reflect the state of mind of a human being. In this work, a corpus on discourse containing some induced and acted anomalies has been built. This corpus has enabled testing a detection chain based on semi-supervised classification. GMM, One class SVM and Isolation forest are examples of models that have been used. It also has enabled to study the contribution of each modality and their joint contribution to the detection efficiency.