Detection des émotions dans les documents audiovisuels à partir de la modalité auditive

Indexing of emotions in the audio track of audiovisual documents

• Auteur / Autrice : Xuan Hung Le
• Direction : Georges Quénot
• Type : Thèse de doctorat
• Discipline(s) : Informatique. Systèmes d'information
• Date : Soutenance en 2009
• Etablissement(s) : Grenoble INPG

Mots clés

Mots clés contrôlés

Émotions

Résumé

La thèse se situe au carrefour des domaines du traitement automatique de la parole, de la reconnaissance des formes et de la recherche d'informations multimédia: l'indexation des émotions en vue de la recherche par le contenu. Le travail de thèse est donc orienté vers la reconnaissance et l'indexation de l'émotion indépendante du locuteur. Cependant, les études des deux autres cas de reconnaissance: la reconnaissance mono-locuteur et la reconnaissance multi-Iocuteur ont aussi été effectuées pour une étude systématique. Une grande partie de la thèse porte sur l'étude des paramètres avec la conclusion de l'efficacité de la combinaison entre la méthode de Sélection Forcée Séquentielle en Avant (SFSA) et la normalisation symbolique proposée. L'autre partie de la thèse s'appuie sur l'étude des techniques de classification appliquées dans la reconnaissance de l'émotion. Des études sur la reconnaissance de l'émotion inter-langue (interculturel) ont aussi été effectuées. Et enfin, sur la base de ces résultats, un moteur de l'indexation sur un corpus réel a été construit.

This thesis is located at the crossroads of speech processing, pattern recognition and multimedia information retrieval: the indexing of emotions for searching by content. Ln this con tex t, our work is directed towards speaker independent emotional recognition and indexing. To facilitate systematic study, the other cases: mono-speaker and multi-speaker emotional recognition are also considered and analyzed. First, sets of potential parameters ate proposed and analyzed. Second, the best parameters were sorted and chosen by the method of Forced Sequential Forw<:ird Selection (FSFS) with the conclusion of the effectiveness of this method in combination with the proposed approaGb Symbolic Standardization to face the problem of robustness in our speaker independent recognition system. The other pÇlP: of the thesis is based on the study of classification techniques used in the emotion recognition. Sorne experienceÜn the interlanguage environment are also studied. Finally, on the basis of these results, an indexing engine was bui. Lt on a reel corpus.