Méthodes d'apprentissage profond pour la détection d'Action Unit

Deep learning methods for Action Unit detection

• Auteur / Autrice : Gauthier Tallec
• Direction : Kevin Bailly, Arnaud Dapogny
• Type : Thèse de doctorat
• Discipline(s) : Automatique et robotique
• Date : Soutenance le 03/07/2023
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Sciences mécaniques, acoustique, électronique et robotique de Paris (2000-....)
• Partenaire(s) de recherche : Laboratoire : Institut des systèmes intelligents et de robotique (Paris ; 2009-....)
• Jury : Président / Présidente : Matthieu Cord
• Jury : Examinateurs / Examinatrices : Stéphane Canu, Antitza Dantcheva
• Jury : Rapporteurs / Rapporteuses : Mohamed Daoudi, David Picard

Mots clés

Mots clés contrôlés

Apprentissage automatique

Fonctionnement multitâche

Vision par ordinateur

Expression du visage

Réseaux neuronaux (informatique)

Mots clés libres

Réseau de neurones

Apprentissage multi-tâche

Vision

Analyse faciale

Neural networks

Multi-Task learning

Computer vision

Face analysis

Résumé

La détection d'Action Unit (AU) consiste à décrire automatiquement les expressions faciales par les activations musculaires qu'elles impliquent. L'intérêt est de fournir une représentation bas niveau qui peut ensuite aider l'apprentissage de tâches d'analyse faciale de plus haut niveau. Cependant, c'est un problème difficile. En effet, les bases de données disponibles ne présentent pas une grande variété de sujets et contiennent beaucoup plus d'images de visages neutres que de visages expressifs. De plus, les AU sont des mouvements subtils du visage et sont donc difficiles à annoter. Ainsi, on dispose de peu de données et certaines des annotations sont susceptibles d'être fausses. Par conséquent, il est peu probable qu'un réseau entraîné sur ces bases de données soit capable de généraliser efficacement. Dans cette thèse, on explore trois pistes pour améliorer les performances de généralisation des détecteurs d'AU. Premièrement, on cherche à exploiter les dépendances entre les AU pour structurer les prédictions du réseau. Pour ce faire, on utilise des réseaux de neurones récurrents multi-tâches qui traitent les tâches séquentiellement et aident la prédiction de chaque tâche en utilisant les résultats précédents. Cependant, ces méthodes nécessitent d'imposer un ordre sur un ensemble de tâches qui n'a pas d'ordre naturel. Le choix de cet ordre est important. En effet il a été montré qu'il pouvait impacter les performances du réseau. Pour sélectionner les ordres pertinents, on introduit les Multi-Order Networks (MONET) qui apprennent plusieurs tâches ainsi que l'ordre dans lequel elles doivent être prédites. Dans un premier temps, on montre que MONET est capable d'apprendre l'ordre de prédiction optimal dans un environnement contrôlé. Dans un second temps, on montre que MONET surpasse les architectures multi-tâches de base sur plusieurs problèmes de détection d'attributs avec différents types de dépendances entre les tâches. Finalement, on démontre que MONET dépasse les performances de l'état de l'art en détection d'AU sur DISFA et BP4D. Dans un deuxième temps, on part de l'observation selon laquelle chaque AU modifie une région connue du visage. On tente donc de guider notre détecteur pour qu'il prête attention aux zones pertinentes pour chaque AU. Pour cela, on s'inspire du succès des transformeurs pour la vision. Concrètement, on évalue plusieurs stratégies de guidage de l'attention multi-tête des transformeurs en utilisant soit des points de repères, soit des cartes de ségmentation du visage. Le résultat de cette étude est que, quelle que soit la nature de l'a priori, forcer les différentes têtes d'un transformeur à prêter attention à des zones différentes permet d'améliorer les performances d'un détécteur d'AU sur BP4D et DISFA. Enfin, on aborde le problème du bruit dans les annotations d'AU. Pour cela, on utilise d'abord une stratégie de type label smoothing pour réduire la confiance du réseau et ainsi atténuer l'influence des exemples bruités. Cependant, on constate que le label smoothing nuit aux performances de détection. Pour expliquer cette baisse, on suppose que l'application du label smoothing dans des scénarios déséquilibrés aggrave le manque de confiance dans la classe minoritaire. Pour contourner cela, on propose le Vanilla Asymetric Label Smoothing (VALS) qui utilise des coefficients de lissage distincts pour les exemples positifs et négatifs. VALS permet donc de réduire la surconfiance dans la classe majoritaire tout en laissant la classe minoritaire intact. On affine cette stratégie avec le Robin Hood Label Smoothing (RHLS) qui lisse uniquement la classe majoritaire avec un coefficient qui est ajusté en fonction des fréquences empiriques des AU. On montre que les performances de VALS et RHLS sont prometteuses sur BP4D et surpassent les résultats de l'état de l'art sur DISFA.

Action Unit (AU) detection aims at automatically caracterizing facial expressions with the muscular activations they involve. Its main interest is to provide a low-level face representation that can be used to assist higher level affective computing tasks learning. Yet, it is a challenging task. Indeed, the available annotated databases display limited face variability and are imbalanced toward neutral expressions. Furthermore, as AU involve subtle face movements they are difficult to annotate so that some of the few provided datapoints may be mislabeled. Therefore, a deep neural network trained on such datasets is likely to overfit and to consequently display poor generalisation performance. In this thesis, we explore three different ways to improve the generalisation performance of an AU detector.First, we aim at exploiting known inter-dependencies between Action Units to better structure the prediction of the network. To do so, we leverage multi-task recurrent neural networks that process tasks sequentially and help each task prediction with the results of the previous ones. However, such method requires imposing an arbitrary order into an unordered task set. Crucially, it has been shown that this ordering choice impacts predictive performance. For that purpose, we propose Multi-Order Networks (MONET) that jointly learns multiple tasks along with the order in which they should be predicted. Experimentally, we first show that MONET is able to learn the optimal prediction order in a controlled environment. Second, we validate MONET architecture by showing that MONET outperform existing multi-task baselines on multiple attribute detection problems chosen for their wide range of dependency settings. More importantly, we demonstrate that MONET significantly extends state-of-the-art AU detection performance on both DISFA and BP4D. Second, we build upon the observation that each Action Unit is locally constrained to a known region of the face. Consequently we attempt to guide our deep Action Unit detector towards paying attention to AU-relevant zones. For that purpose, we draw inspiration from the recent success of vision transformer architectures and their multi-head attention mechanism. More precisely we benchmark several strategies to guide the multi-head attention of vision transformers with either landmarks-based and face parsing-based priors. The main outcome of our study is that, whatever the nature of the prior, forcing different attention heads to pay attention to different zones is an useful strategy as it improves AU detection performance on both DISFA and BP4D. Finally, we tackle the noisy annotation problem of AU detection. To this end, we first attempt to use label smoothing to reduce the network confidence and consequently mitigate the influence of noisy examples on the training. However, we experimentally observe that label smoothing degrades AU detection performance. To explain this drop in performance, we hypothetize that applying label smoothing in imbalanced scenarios worsens the pre-existing under-confidence in the minority class. To circumvent that issue, we propose a Vanilla Asymetric Label Smoothing (VALS) that use separate smoothing coefficients for positive and negative examples. Consequently VALS provides the flexibility to reduce over-confidence in the majority class while leaving the minority class untouched. We further refine this strategy by proposing Robin Hood Label Smoothing (RHLS) that smoothes only the majority class with a smoothing coefficient that is scaled based on AU empirical frequencies. Experimentally, we show that both VALS and RHLS display promising performance on BP4D and outperforms state-of-the-art results on DISFA.