Une perspective data mining pour l'AIOps explicable avec application à la maintenance logicielle

A data mining perspective on explainable AIOps with applications to software maintenance

• Auteur / Autrice : Youcef Remil
• Direction : Jean-François Boulicaut
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 06/10/2023
• Etablissement(s) : Lyon, INSA
• Ecole(s) doctorale(s) : École doctorale en Informatique et Mathématiques de Lyon (Lyon ; 2009-....)
• Partenaire(s) de recherche : Membre de : Université de Lyon (2015-....)
• Partenaire(s) de recherche : Laboratoire : LIRIS - Laboratoire d'Informatique en Image et Systèmes d'information (Rhône ; 2003-....) - Laboratoire d'InfoRmatique en Image et Systèmes d'information / LIRIS
• Partenaire(s) de recherche : Equipe de recherche : DM2L - Data Mining and Machine Learning
• Jury : Président / Présidente : Christel Vrain
• Jury : Examinateurs / Examinatrices : Jean-François Boulicaut, Christel Vrain, Romain Robbes, Alexandre Termier, Arnaud Soulet, Peggy Cellier, Mehdi Kaytoue, Ahmed Anes Bendimerad
• Jury : Rapporteurs / Rapporteuses : Romain Robbes, Alexandre Termier

Mots clés

Mots clés contrôlés

Exploration de données

Apprentissage automatique

Systèmes d'aide à la décision

Intelligence artificielle

Mots clés libres

Informatique

Maintenance logicielle

Intelligence artificielle

Apprentissage Automatique

Fouille de données

Découverte de Sous-Groupes

Supervision

Gestion des incidents

Hachage

Informatics

Software maintenance

Artificial intelligence

Machine Learning

Subgroup Discovery

Subgroup Discovery

Supervision

Incident management

Hashing

Résumé

La supervision des systèmes informatiques modernes présente de nouveaux défis en termes de scalabilité et d'efficacité. Les méthodes traditionnelles basées sur l'exécution de tâches manuelles ont prouvé leur inefficacité. AIOps for Operating Systems (AIOps) propose d'utiliser des techniques avancées d'apprentissage automatique centrées sur la donnée pour améliorer et automatiser les systèmes de supervision. Cependant, il existe plusieurs défis à relever pour concrétiser cette vision, qui sont partagés à la fois par la communauté scientifique et les ingénieurs sur le terrain. Tout d'abord, le manque d'une terminologie claire et unifiée dans le domaine de l'AIOps rend difficile la progression, l'implémentation et la comparaison des contributions provenant de différentes disciplines. De plus, les exigences et les métriques nécessaires pour les modèles AIOps, alignés avec les contraintes industrielles, ne sont pas suffisamment élaborées. Les contributions théoriques se sont principalement concentrées sur les modèles prédictifs pour la détection et prédictions des incidents, en négligeant souvent la capacité des modèles descriptifs à résoudre les défis liés à la qualité, la complexité, volume et diversité des données. Aussi, la dépendance aux modèles boîte noire opaques limite leur adoption par les praticiens de l'industrie. Enfin, les solutions AIOps existantes ne prêtent pas toujours suffisamment d'importance à la scalabilité des modèles lors de l'implémentation et de l'évaluation des modèles. Nous proposons d'abord une approche systématique de l'AIOps qui organise les connaissances dans ce domaine en fournissant une catégorisation en accord avec les exigences de l'industrie. Deuxièmement, nous explorons l'application de la découverte de sous-groupes qui est une technique prometteuse de fouille de données permettant l'extraction d'hypothèses intéressantes à partir de vastes ensembles de données. Ainsi, les utilisateurs sont en mesure de comprendre et d'interpréter les processus sous-jacents aux modèles. Nos contributions comprennent une application pratique axée sur l'identification de fragments de requêtes SQL suspects permettant de localiser les problèmes de dégradation de performances. De plus, nous développons un mécanisme d'interprétation pour les modèles de triage des incidents, offrant des explications contextualisées pour les décisions prises par le modèle. Nous abordons également le problème de l'analyse des problématiques de saturation de la mémoire Java, caractérisé par un ensemble de données volumineux et complexes intégrant des données hiérarchiques. Finalement, nous traitons de la scalabilité en étudiant un problème connu de l'industrie qui est la détection de la déduplication des incidents. Notre objectif est de rechercher de manière efficace et scalable les rapports de plantage les plus similaires en combinant des techniques de hachage sensibles à la localité et des techniques d'apprentissage de hachage dans un cadre unifié.

The genuine supervision of modern IT systems presents new challenges in terms of scalability, reliability, and efficiency. Traditional operations and maintenance systems that rely on manual tasks and individual troubleshooting are inefficient. Rule-based inference engines, although useful for detecting anomalies and automating resolution, are limited in handling the large number of alerts generated by IT systems. Artificial Intelligence for Operating Systems (AIOps) proposes the use of advanced analytics and machine learning to improve and automate supervision systems. However, there are several challenges in this field. Firstly, the lack of unified terminology makes it difficult to compare contributions from different disciplines. The requirements and metrics for constructing effective AIOps models are not well-defined. Secondly, AIOps has primarily focused on predictive models for anomaly detection and failure prediction, neglecting descriptive models that can handle data quality and complexity concerns. Thirdly, the reliance on opaque black box models limits their adoption by industry practitioners who need a clear understanding of the decision-making process of maintenance models. Lastly, existing AIOps solutions often overlook performance evaluation and scalability issues when developing and evaluating incident management models. As part of this Ph.D. thesis, we propose several contributions to tackle these challenges more effectively. Firstly, we offer a systematic approach to AIOps that organizes the extensive knowledge surrounding it. By categorizing data-driven approaches from various research areas and disciplines according to industry standards and requirements, we provide a cohesive framework. Secondly, we explore the application of Subgroup Discovery and its generalization Exceptional Model Mining, a promising data mining technique, in the context of AIOps. This well-defined framework allows for the extraction of valuable hypotheses from large and diverse datasets. It enables users to understand, interact with, and interpret the underlying processes behind predictive models. Our contributions in this area include a practical application focused on identifying suspicious query fragments in large SQL workloads to pinpoint performance degradation issues. Additionally, we develop an interpretation mechanism for incident triage models, providing contextualized explanations for the model's decisions. Furthermore, we address the challenging problem of memory Java analysis using huge and complex datasets that incorporate hierarchical data. Lastly, we address the issue of scalability by studying incident deduplication, a well-known problem in the industry. Our goal is to efficiently retrieve the most similar crash reports by combining locality-sensitive hashing and learning-to-hash techniques within a unified framework.