Analyse multimodale de situations conflictuelles en contexte véhicule

Multimodal analysis of conflictual situation in car context

• Auteur / Autrice : Quentin Portes
• Direction : Frédéric Lerasle, Julien Pinquier
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 30/06/2022
• Etablissement(s) : Toulouse 3
• Ecole(s) doctorale(s) : École doctorale Systèmes (Toulouse ; 1999-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'Analyse et d'Architecture des Systèmes (Toulouse ; 1968-....) - Institut de Recherche en Informatique de Toulouse (1995-....)
• Jury : Examinateurs / Examinatrices : Georges Quénot
• Jury : Rapporteurs / Rapporteuses : Bruno Emile, Pascale Sébillot

Mots clés

Mots clés contrôlés

Analyse de la conversation

Systèmes embarqués (informatique)

Apprentissage profond

Mots clés libres

Apprentissage profond

Fusion

Système embarqué

Multimodal

Audio-vidéo

Intéractions

Deep learning

Fusion

Embedded system

Multimodal

Audio-vide

Interactions

Résumé

Dans cette thèse nous étudions les interactions humaines afin d'identifier des situations conflictuelles dans l'habitacle d'un véhicule. Les humains utilisent le plus communément la vue et l'ouïe pour analyser les interactions. Cette tâche paraît anodine, mais reste complexe pour un modèle d'intelligence artificielle. Celui-ci doit capturer les informations vidéo et audio et les analyser pour prédire une situation conflictuelle. Notre approche est nouvelle en regard des recherches réalisées jusque-là sur ce sujet puisque les passagers sont contraints dans leurs mouvements dans l'habitacle et que la puissance de calcul embarqué pour cette tâche est limitée. Aucuns travaux, à notre connaissance, ne se sont intéressés à l'analyse des interactions humaines pour la détection de situations conflictuelles dans ce contexte et avec ces contraintes. Nos investigations s'appuient tout d'abord sur un corpus public d'analyse de sentiment pour se comparer à la littérature. Nous implémentons un modèle capable d'ingérer des données vidéo, audio et textes (transcription de l'audio) pour les fusionner et prendre une décision. Dans notre contexte applicatif, nous enregistrons par la suite un jeu de données multimodal d'interactions humaines simulant des situations plus ou moins conflictuelles dans un habitacle de véhicule. Cette base de données est exploitée afin d'implémenter des modèles de classification de bout-en-bout et paramétrique. Les résultats obtenus sont cohérents avec la littérature sur l'impact de chaque modalité sur les performances du système. Ainsi, le texte est respectivement plus informatif que l'audio et que la vidéo. Les différentes approches de fusion implémentées montrent des bénéfices notables sur les performances de classification mono-modalité.

In this thesis we study human interactions in order to identify potential aggression situations in the vehicle cabin. Humans most commonly use sight and hearing to analyze interactions. This task seems trivial, but is complex for an artificial intelligence model. It must capture video and audio information and analyze it to predict a conflictual situation. Our approach is new compared to previous research on this topic since passengers are constrained in their movements in the cabin and the computing power on board for this task is limited. To our knowledge, no work has been done on the analysis of human interactions for conflictual situation detection in this context and with these constraints. Our investigations are first based on a public corpus of sentiment analysis to compare with the literature. We implement a model capable of ingesting video, audio and text data (audio transcription) to merge them and make a decision. In our application context, we then record a multimodal dataset of human interactions simulating more or less conflictual situations in a vehicle cockpit. This database is exploited to implement end-to-end and parametric classification models. The results obtained are consistent with the literature on the impact of each modality on the system performance. Thus, text is respectively more informative than audio and video. The different fusion approaches implemented show significant benefits on the performance of single-modality classification.