Modèles d'apprentissage automatique pour la détection multimodale de comportements anormaux

Machine Learning Models for Multimodal Detection of Anomalous Behaviors

• Auteur / Autrice : Valentin Durand de Gevigney
• Direction : Pierre-François Marteau, Damien Lolive
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 10/12/2021
• Etablissement(s) : Lorient
• Ecole(s) doctorale(s) : École doctorale Mathématiques et sciences et technologies de l'information et de la communication (Rennes)
• Partenaire(s) de recherche : Laboratoire : Institut de recherche en informatique et systèmes aléatoires (Rennes) - Institut de Recherche en Informatique et Systèmes Aléatoires / IRISA
• Jury : Président / Présidente : Mohamed Daoudi
• Jury : Examinateurs / Examinatrices : Lauriane Aufrant, Marie Tahon
• Jury : Rapporteurs / Rapporteuses : Germain Forestier

Mots clés

Mots clés contrôlés

Comportement humain

Apprentissage profond

Mots clés libres

Comportements humains anormaux

Détection d'anomalies

Deep learning

Anomaly detection

Human behaviors

Résumé

Nos travaux portent sur le développement de modèles pour la détection de comportements humains anormaux en utilisant plusieurs modalités (e.g. audio, vidéo, etc.) La détection de comportements anormaux a de nombreuses applications, de la sécurité dans les lieux publics au vote électronique en passant par la santé mentale et les handicaps invisibles. Nous commençons d’abord par définir le domaine dans lequel s’ancre cette thèse en prenant soin d’en tracer les contours. Puisque nous traitons du comportement humain, nous donnons quelques mises en gardes sur le fait de considérer un comportement comme anormal et les potentielles applications. Ensuite, nous faisons un tour d’horizon de la littérature qui se rapporte à notre sujet. Nous en identifions des limites que nous avons tenté de repousser pendant cette thèse. Nos résultats se divisent en trois catégories : 1) Trois nouvelles méthodes pour détection de comportements anormaux. La première méthode modélise les comportements comme des mécanismes temporels, la seconde y ajoute un cadre probabiliste et la troisième se base sur la théorie de l’information et l’entropie de Shannon. 2) Des méthodes de modélisation multimodales afin de pallier au manque dans l’état de l’art. 3) Des méthodes pour la modélisation de représentations du comportement humain. Nous terminons avec une vue d’ensemble de nos travaux et de nos trouvailles, observant les nouvelles limites du domaine et définissant les perspectives pour de nouveau repousser ces limites.

Our work is focused on the development of new models for the detection of anomalous human behaviors using multiple modalities (e.g. audio, video, etc.) The field of anomalous human behavior detection has many applications. They range from security in public places to electronic voting and include mental health and invisible disabilities. We first start by defining the field in which this thesis is rooted and we take care of properly drawing its borders. Since we are studying human behavior, we also give warnings on considering a behavior as anomalous not abnormal and the potential resulting applications. Then, we provide an overview of the literature related to our subject and identify its limits in order to push them. Our results are split in three categories: 1) Three new methods for detecting anomalous behaviors. The first method models behaviors as temporal mechanisms, the second one adds a probabilistic framework to it and the third one is based on information theory and the Shannon entropy. 2) Methods for multimodal modeling to fill a void in the literature. 3) Methods for modeling representations of human behaviors. All these methods are based on deep neural networks. We finish with an overview of our works in this thesis and our findings, observing the new limits of the field and from there, we define new perspectives for future works to tackle.