Apprentissage Few Shot et méthode d'élagage pour la détection d'émotions sur bases de données restreintes

Few Shot Learning and Pruning Technics for Emotion Recognition on Small Datasets

• Auteur / Autrice : Kergann Le Cornec
• Direction : Vincent Barra
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 03/10/2020
• Etablissement(s) : Université Clermont Auvergne‎ (2017-2020)
• Ecole(s) doctorale(s) : École doctorale des sciences pour l'ingénieur (Clermont-Ferrand)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'Informatique, de Modélisation et d'Optimisation des Systèmes
• Jury : Examinateurs / Examinatrices : Violaine Antoine, Gérard Bailly, Engelbert Mephu-Nguifo
• Jury : Rapporteur / Rapporteuse : Stéphane Canu, Antoine Cornuéjols

Mots clés

Mots clés contrôlés

Apprentissage profond

Mots clés libres

Détection

Emotion

Apprentissage Profond

Elagage

Few Shot

Réseau

Siamois

Réseau Triples

Emotions Detection

Deep Learning

Pruning

Few Shot

Siamese Network

Triplet Network

Résumé

La détection d'émotions joue un rôle majeur dans les relations humaines: une bonne compréhension de l'état émotionnel de l'interlocuteur mène à une bonne compréhension de son discours.De fait, elle est aussi très importante dans les relations humain-machine.Dans le domaine de la détection des émotions par ordinateur,l'apprentissage profond s'est imposé comme l'état de l'art. Cependant,les techniques classiques d'apprentissage profond ne fonctionnent plus lorsque la base d'apprentissage est petite.Cette thèse explore deux pistes de réponse: l'élagage et quelques méthodes d'apprentissage few shot. De nombreuses techniques d'élagage existent, mais se concentrent souvent sur un équilibre entre le pourcentage des poids supprimés et la précision. Nous proposons une nouvelle méthode d'élagage, améliorant le choix des poids à supprimer. Cette technique est basée sur la mise en compétition de deux réseaux : le réseau original et un réseau que nous nommons rival. L'idée est de partager les poids entre ces deux réseaux dans le but de maximiser la précision du modèle. Pendant l'apprentissage, les poids ayant un impact négatif sur la précision vont être supprimés, optimisant ainsi le modèle, tout en améliorant la précision. Cette technique est testée sur différents réseaux et différentes bases de données et atteint l'état de l'art en améliorant la précision tout en supprimant un pourcentage de poids non négligeable. La seconde contribution concerne l'utilisation de réseaux correspondants (réseaux siamois et triple), comme réponse à l'apprentissage sur bases multimodales restreintes. Les deux modalités son et image sont combinées afin d'apprendre leurs caractéristiques principales, pour la détection d'émotions. Nous montrons qu'en se limitant à 200 instances d'entrainement par classe, le réseau triple atteint l'état de l'art (appris sur des centaines de milliers d'instances) sur certaines bases de données.Nous montrons aussi que, pour la classification d'émotions, les réseaux triples offrent une meilleure représentation des émotions, et par conséquent présentent de meilleurs résultats que les réseaux siamois. Une nouvelle fonction de perte basée sur le triplet loss est introduite facilitant l'apprentissage de ces réseaux. Différentes méthodes sont aussi appliquées, offrant des éléments de comparaisons du modèle et plus précisément de la représentation vectorielle. A terme, ces deux méthodes pourront être combinées pour proposer des modèles légers et performants. Comme le nombre de paramètres à apprendre sera plus faible, un réseau triple élagué donnera possiblement de meilleurs résultats.

Emotion detection plays a major part in human interactions, a goodunderstanding of the speaker's emotional state leading to a betterunderstanding of his speech. It is de facto the same in human-machineinteractions.In the area of emotion detection using computers, deep learning hasemerged as the state of the art. However, classical deep learningtechnics perform poorly when training sets are small. This thesis explores two possible ways for tackling this issue, pruning and fewshot learning.Many pruning methods exist but focus on maximising pruning withoutlosing too much accuracy.We propose a new pruning method, improving the choice of the weightsto remove. This method is based on the rivalry of two networks, theoriginal network and a network we name rival.The idea is to share weights between both models in order to maximisethe accuracy. During training, weights impacting negatively the accuracy will be removed, thus optimising the architecture while improving accuracy. This technic is tested on different networks as well asdifferent databases and achieves state of the art results, improvingaccuracy while pruning a significant percentage of weights.The second area of this thesis is the exploration of matching networks(both siamese and triple), as an answer to learning on small datasets.Sounds and Images were merged to learn their main features, in orderto detect emotions.We show that, while restricting ourselves to 200 training instancesfor each class, triplet network achieves state of the art (trained on hundreds of thousands instances) on some databases.We also show that, in the area of emotion detection, triplet networksprovide a better vectorial embedding of the emotions thansiamese networks, and thusdeliver better results.A new loss function based on triplet loss is also introduced, facilitatingthe training process of the triplet and siamese networks. To allow abetter comparison of our model, different methods are used to provideelements of validation, especially on the vectorial embedding.In the long term, both methods can be combined to propose lighter and optimised networks. As thenumber of parameters is lowered by pruning, the triplet network shouldlearn more easily and could achieve better performances.