New statistical methods for data mining, contributions to anomaly detection and unimodality testing

par Alban Siffer

Thèse de doctorat en Informatique

Sous la direction de Pierre-Alain Fouque et de Alexandre Termier.

Soutenue le 19-12-2019

à Rennes 1 , dans le cadre de MATHSTIC , en partenariat avec Universite Bretagne Loire (ComuE) et de IRISA (laboratoire) .

  • Titre traduit

    Nouvelles méthodes statistiques pour la fouille de données, contributions à la détection d'anomalies et au test d'unimodalité


  • Résumé

    Cette thèse propose de nouveaux algorithmes statistiques dans deux domaines différents de la fouille de données: la détection d'anomalies et le test d'unimodalité.Premièrement, une nouvelle méthode non-supervisée permettant de détecter des anomalies dans des flux de données est développée. Celle-ci se base sur le calcul de seuils probabilistes, eux-mêmes utilisés pour discriminer les observations anormales.La force de cette méthode est sa capacité à s'exécuter automatiquement sans connaissance préalable ni hypothèse sur le flux de données d'intérêt.De même, l'aspect générique de l'algorithme lui permet d'opérer dans des domaines d'application variés. En particulier, nous développons un cas d'usage en cyber-sécurité.Cette thèse développe également un nouveau test d'unimodalité qui permet de déterminer si une distribution de données comporte un ou plusieurs modes. Ce test est nouveau par deux aspects: sa capacité à traiter des distributions multivariées mais également sa faible complexité, lui permettant alors d'être appliqué en temps réel sur des flux de données.Cette composante plus fondamentale a principalement des applications dans d'autres domaines du data mining tels que le clustering. Un nouvel algorithme cherchant incrémentalement le paramétrage de k-means est notamment détaillé à la fin de ce manuscrit.


  • Résumé

    This thesis proposes new statistical algorithms in two different data mining areas: anomaly detection and unimodality testing. First, a new unsupervised method for detecting outliers in streaming data is developed. It is based on the computation of probabilistic thresholds, which are themselves used to discriminate against abnormal observations. The strength of this method is its ability to run automatically without prior knowledge or hypothesis about the input data. Similarly, the generic aspect of the algorithm makes it able to operate in various fields. In particular, we develop a cyber-security use case. This thesis also proposes a new unimodality test which determines whether a data distribution has one or several modes. This test is new in two respects: its ability to handle multivariate distributions but also its low complexity, allowing it to be applied on streaming data. This more fundamental component has applications mainly in other areas of data mining such as clustering. A new algorithm incrementally searching for the k-means parameter setting is notably detailed at the end of this manuscript.


Il est disponible au sein de la bibliothèque de l'établissement de soutenance.

Consulter en bibliothèque

La version de soutenance existe

Où se trouve cette thèse\u00a0?

  • Bibliothèque : Université de Rennes I. Service commun de la documentation. Bibliothèque de ressources en ligne.
Voir dans le Sudoc, catalogue collectif des bibliothèques de l'enseignement supérieur et de la recherche.