Apprentissage de représentations hybrides, basées sur des modèles et les donées, pour la reconnaissance multimodale des émotions
| Auteur / Autrice : | Thiziri Kashi |
| Direction : | Dro Désiré Sidibé |
| Type : | Projet de thèse |
| Discipline(s) : | Sciences du traitement du signal et des images |
| Date : | Inscription en doctorat le 01/10/2026 |
| Etablissement(s) : | université Paris-Saclay |
| Ecole(s) doctorale(s) : | École doctorale Sciences et technologies de l'information et de la communication |
| Partenaire(s) de recherche : | Laboratoire : IBISC - Informatique, BioInformatique, Systèmes Complexes |
| Equipe de recherche : IRA2: Interactions, Réalité virtuelle & Augmentée, Robotique Ambiante | |
| Référent : Université d'Évry Val d'Essonne |
Mots clés
Résumé
Les êtres humains se caractérisent par leur capacité à communiquer de manière affective, ce qui joue un rôle crucial dans le domaine de la santé, notamment auprès des personnes âgées ou vulnérables. Améliorer les interactions sociales représente un enjeu majeur de santé publique, car cela peut contribuer à réduire les troubles cognitifs et comportementaux chez les patients tout en allégeant la charge de travail des professionnels de santé. D'un point de vue computationnel, la compréhension et la modélisation de la communication affective nécessitent l'extraction de représentations pertinentes qui rendent compte de l'état émotionnel de l'interlocuteur. Dans cette thèse, nous abordons le problème de la reconnaissance des émotions selon deux axes principaux. Premièrement, nous étudions et combinons des approches de traitement du signal déterministes et stochastiques avec des méthodes d'apprentissage profond afin d'obtenir des représentations robustes et complémentaires des signaux émotionnels. Deuxièmement, nous explorons des stratégies de fusion pour intégrer ces représentations hétérogènes issues de multiples modalités, notamment audio, vidéo et physiologiques. L'étude repose principalement sur trois modalités : la parole émotionnelle, les enregistrements vidéo et des indices d'interaction supplémentaires tels que le regard et le toucher. Nous adoptons ainsi une approche pluridisciplinaire combinant modélisation mathématique, sciences cognitives et apprentissage automatique. Nous nous concentrons sur deux composantes clés de la communication : (i) la parole émotionnelle, analysée à travers des caractéristiques acoustiques (paralinguistiques) et linguistiques extraites des signaux bruts, et (ii) le regard et les expressions faciales, qui fournissent des indices essentiels lors des interactions et peuvent être capturés par vidéo égocentrique. L'objectif de cette thèse est de développer de nouvelles méthodes de reconnaissance multimodale des émotions à partir de données audiovisuelles. Sur le plan théorique, nous proposons de nouveaux paradigmes de modélisation pour l'interprétation de ces données. Sur le plan expérimental, nous cherchons à valider nos résultats grâce aux apports des neurosciences. Enfin, sur le plan pratique, nous visons à concevoir des outils capables d'analyser et, potentiellement, de réguler le contenu émotionnel de la communication spontanée, avec des applications dans les domaines de la santé et de l'éducation.