Analyse temps réel des micro-expressions par vision artificielle

Real-time micro-expression analysis by artificial vision

• Auteur / Autrice : Reda Belaiche
• Direction : Fan Yang Song, Dominique Ginhac, Cyrille Migniot
• Type : Thèse de doctorat
• Discipline(s) : Instrumentation et informatique de l'image
• Date : Soutenance le 30/09/2022
• Etablissement(s) : Bourgogne Franche-Comté
• Ecole(s) doctorale(s) : École doctorale Sciences pour l'ingénieur et microtechniques (Besançon ; 1991-....)
• Partenaire(s) de recherche : Laboratoire : Imagerie et Vision Artificielle (ImVia) (Dijon)
• Partenaire(s) de recherche : Etablissement de préparation : Université de Bourgogne (1970-....)
• Jury : Président / Présidente : Frédéric Morain-Nicolier
• Jury : Rapporteurs / Rapporteuses : Sabir Jacquir, Eva Dokladalova

Mots clés

Mots clés contrôlés

Intelligence artificielle

Vision par ordinateur

Apprentissage automatique

Mots clés libres

Apprentissage automatique

Vision par ordinateur

Intelligence artificielle

Intelligence artificielle émotionnelle

Machine learning

Computer vision

Artificial intelligence

Emotional artificial intelligence

Résumé

Les technologies de l'interaction homme-machine se concentrent de plus en plus sur l'être humain, que ce soit sur son identité, ou bien sur son état physique et mental. Des progrès conséquents ont été réalisés depuis quelques décennies. Cependant l'étude des pensées et des émotions reste encore un domaine peu développé, mais qui a commencé à grandement gagner en intérêt. Dans ce domaine, l'analyse des expressions faciales est le traitement préférentiel.Contrairement à une macro-expression, visible à l'œil, une micro-expression est un type d'expression faciale involontaire extrêmement rapide et de très faible intensité. La communauté scientifique en vision par ordinateur étudie depuis quelques années les façons de reconnaître automatiquement les micro-expressions à l'aide de cameras rapides et de programmes informatiques. Il s'agit néanmoins d'un problème difficile, de par la nature de ces micro-expressions.À partir des dernières avancées techniques en machine learning, nous avons proposé plusieurs traitements de reconnaissance des micro-expressions sur des vidéos tout en mettant l'accent sur la rapidité d'exécution et les faibles besoins en mémoire. Suivant l'évolution de la littérature, nous avons dans un premier temps proposé des améliorations quant à l'utilisation de descripteurs comme le LBP-TOP, puis nous avons configuré la structure d'un réseau de neurones convolutifs pour le rendre plus compact sans perdre en précision.Avec des résultats similaires aux méthodes actuelles, nous avons considérablement réduit les besoins en mémoire et en calculs. Nous avons finalement démontré la faisabilité de l'exécution en conditions réelles d'un système complet réalisant à la fois la détection et la reconnaissance des micro-expressions.

Human-computer interaction technologies focus more and more on the human being, whether it is on his identity, or on his physical and mental state. Significant progress has been made in the last few decades. However, the study of thoughts and emotions is still an underdeveloped field, but one that has begun to gain considerable interest. In this field, the analysis of facial expressions is the preferred treatment.Unlike a macro-expression, which is visible to the eye, a micro-expression is a type of involuntary facial expression that is extremely rapid and of very low intensity. The computer vision scientific community has been studying ways to automatically recognize micro-expressions using high-speed cameras and computer programs for several years. However, it is a difficult problem, due to the nature of these micro-expressions.Based on the latest technical advances in machine learning, we have proposed several treatments for recognizing micro-expressions on videos while focusing on the speed of execution and low memory requirements. Following the evolution of the literature, we first proposed improvements in the use of descriptors such as LBP-TOP, then we configured the structure of a convolutional neural network to make it more compact without losing accuracy.With results similar to current methods, we have significantly reduced memory and computational requirements. We have finally demonstrated the feasibility of running a complete system in real conditions that performs both detection and recognition of micro-expressions.