Thèse en cours

Apprentissage de représentations hybrides, basées sur des modèles et les donées, pour la reconnaissance multimodale des émotions

FR  |  
EN
Auteur / Autrice : Thiziri Kashi
Direction : Dro Désiré Sidibé
Type : Projet de thèse
Discipline(s) : Sciences du traitement du signal et des images
Date : Inscription en doctorat le 01/10/2026
Etablissement(s) : université Paris-Saclay
Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication
Partenaire(s) de recherche : Laboratoire : IBISC - Informatique, BioInformatique, Systèmes Complexes
Equipe de recherche : IRA2: Interactions, Réalité virtuelle & Augmentée, Robotique Ambiante
Référent : Université d'Évry Val d'Essonne

Résumé

FR  |  
EN

Les êtres humains se caractérisent par leur capacité à communiquer de manière affective, ce qui joue un rôle crucial dans le domaine de la santé, notamment auprès des personnes âgées ou vulnérables. Améliorer les interactions sociales représente un enjeu majeur de santé publique, car cela peut contribuer à réduire les troubles cognitifs et comportementaux chez les patients tout en allégeant la charge de travail des professionnels de santé. D'un point de vue computationnel, la compréhension et la modélisation de la communication affective nécessitent l'extraction de représentations pertinentes qui rendent compte de l'état émotionnel de l'interlocuteur. Dans cette thèse, nous abordons le problème de la reconnaissance des émotions selon deux axes principaux. Premièrement, nous étudions et combinons des approches de traitement du signal déterministes et stochastiques avec des méthodes d'apprentissage profond afin d'obtenir des représentations robustes et complémentaires des signaux émotionnels. Deuxièmement, nous explorons des stratégies de fusion pour intégrer ces représentations hétérogènes issues de multiples modalités, notamment audio, vidéo et physiologiques. L'étude repose principalement sur trois modalités : la parole émotionnelle, les enregistrements vidéo et des indices d'interaction supplémentaires tels que le regard et le toucher. Nous adoptons ainsi une approche pluridisciplinaire combinant modélisation mathématique, sciences cognitives et apprentissage automatique. Nous nous concentrons sur deux composantes clés de la communication : (i) la parole émotionnelle, analysée à travers des caractéristiques acoustiques (paralinguistiques) et linguistiques extraites des signaux bruts, et (ii) le regard et les expressions faciales, qui fournissent des indices essentiels lors des interactions et peuvent être capturés par vidéo égocentrique. L'objectif de cette thèse est de développer de nouvelles méthodes de reconnaissance multimodale des émotions à partir de données audiovisuelles. Sur le plan théorique, nous proposons de nouveaux paradigmes de modélisation pour l'interprétation de ces données. Sur le plan expérimental, nous cherchons à valider nos résultats grâce aux apports des neurosciences. Enfin, sur le plan pratique, nous visons à concevoir des outils capables d'analyser et, potentiellement, de réguler le contenu émotionnel de la communication spontanée, avec des applications dans les domaines de la santé et de l'éducation.