Apprentissage incrémental de la structure d’un réseau bayésien à partir de flux de données

Incremental Bayesian network structure learning from data streams

• Auteur / Autrice : Amanullah Yasin
• Direction : Philippe Leray
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance en 2013
• Etablissement(s) : Nantes
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et mathématiques (Nantes)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d’Informatique de Nantes Atlantique (UMR 6241) (Nantes)
• Jury : Président / Présidente : Marc Gelgon
• Jury : Examinateurs / Examinatrices : Philippe Leray, Marc Gelgon, Florent Masseglia, Ioannis Tsamardinos, Pierre-François Marteau, Karim Tabia
• Jury : Rapporteur / Rapporteuse : Florent Masseglia, Ioannis Tsamardinos

Mots clés

Mots clés contrôlés

Apprentissage automatique

Analyse des données

Statistique bayésienne

Résumé

Dans la dernière décennie, l’extraction du flux de données est devenue un domaine de recherche très actif. Les principaux défis pour les algorithmes d’analyse de flux sont de gérer leur infinité, de s’adapter au caractère non stationnaire des distributions de probabilités sous-jacentes, et de fonctionner sans relecture. Par conséquent, les techniques traditionnelles de fouille ne peuvent s’appliquer directement aux flux de données. Le problème s’intensifie pour les flux dont les domaines sont de grande dimension tels que ceux provenant des réseaux sociaux, avec plusieurs centaines voire milliers de variables. Pour rester a jour, les algorithmes d’apprentissage de réseaux Bayésiens doivent pouvoir intégrer des données nouvelles en ligne. L’état de l’art en la matiere implique seulement plusieurs dizaines de variables et ces algorithmes ne fonctionnent pas correctement pour des dimensions supérieures. Ce travail est une contribution au problème d’apprentissage de structure de réseau Bayésien en ligne pour des domaines de haute dimension, et a donné lieu à plusieurs propositions. D’abord, nous avons proposé une approche incrémentale de recherche locale, appelée iMMPC. Ensuite, nous avons proposé une version incrémentale de l’algorithme MMHC pour apprendre la structure du réseau. Nous avons également adapté cet algorithme avec des mécanismes de fenêtre glissante et une pondération privilégiant les données nouvelles. Enfin, nous avons démontré la faisabilité de notre approche par de nombreuses expériences sur des jeux de données synthétiques.

In the last decade, data stream mining has become an active area of research, due to the importance of its applications and an increase in the generation of streaming data. The major challenges for data stream analysis are unboundedness, adaptiveness in nature and limitations over data access. Therefore, traditional data mining techniques cannot directly apply to the data stream. The problem aggravates for incoming data with high dimensional domains such as social networks, bioinformatics, telecommunication etc, having several hundreds and thousands of variables. It poses a serious challenge for existing Bayesian network structure learning algorithms. To keep abreast with the latest trends, learning algorithms need to incorporate novel data continuously. The existing state of the art in incremental structure learning involves only several tens of variables and they do not scale well beyond a few tens to hundreds of variables. This work investigates a Bayesian network structure learning problem in high dimensional domains. It makes a number of contributions in order to solve these problems. In the first step we proposed an incremental local search approach iMMPC to learn a local skeleton for each variable. Further, we proposed an incremental version of Max-Min Hill-Climbing (MMHC) algorithm to learn the whole structure of the network. We also proposed some guidelines to adapt it with sliding and damped window environments. Finally, experimental results and theoretical justifications that demonstrate the feasibility of our approach demonstrated through extensive experiments on synthetic datasets.