Data-driven Management Solution for Microservice-based Deep Learning Applications
Solution de gestion pilotée par les données pour les applications Deep Learning basées sur des microservices
Résumé
We live in a new era of Big Data, the era of insights. While our capacity to collect real-time data has grown significantly over the past decade, our ability to analyze that data to turn it into knowledge has not kept pace. With new generations of devices and network technologies, the focus of Big Data is shifting toward the design of tools and applications able to extract information from collected data. The majority of emerging applications present expectations of near-real-time processing to maintain the validity of their results. However, guaranteeing their performance requirements is hampered by the traditional Cloud system designs and management strategies. Current systems for Big Data applications rely on heterogeneous resources distributed across the constrained Edge and the powerful Cloud. In addition, the applications are now created as a set of self-contained microservices, developed by independent teams following the DevOps practices. This evolution of systems designs has introduced extreme heterogeneity and uncertainty into emerging applications, highlighting the limitations of traditional management strategies.In this thesis, we focus on designing a system for Big Data applications that rethinks existing management strategies with a particular emphasis on the heterogeneity of incoming data, applications, and resources. We first study the decoupling of data producers and consumers in emerging microservice-based applications as the entry point to effectively leverage available services, even newly published ones. Accordingly, we propose a data-driven service discovery framework based on data-centric service descriptions and rely on a Peer-to-Peer data-driven architecture. In addition, we present an adaptation scheme that scales deployed microservices to tackle the impact of fluctuating load on real-time performance. Second, we investigate the trade-off between the quality and urgency of the results in Big Data applications as a promising strategy to overcome the limited and heterogeneous capacity of system resources. In particular, we present a data-driven workflow scheduling approach to distribute microservices across the edge of the network, the core, and along the data path. Additionally, we propose a data adaptation strategy that reduces the quality of incoming data when potential quality-latency trade-off optimizations are available. We then apply the proposed approaches in the context of Deep Learning applications.
La capacité à collecter des données en temps réel a considérablement augmenté au cours de la dernière décennie. Pourtant, la capacité d'analyser ces données pour les exploiter n'a pas suivi la même progression. Avec le développement des appareils connectés et des technologies réseau, le Big Data a fait émerger des outils et des applications capables d'extraire des informations à partir des données collectées. La majorité des applications issues du Big Data nécessitent un traitement en temps réel pour maintenir la pertinence de leurs résultats. Cependant, garantir la performance en temps réel est entravé par les stratégies de gestion traditionnelles des systèmes Cloud. Les systèmes actuels pour les applications Big Data reposent sur des ressources hétérogènes allant de la périphérie du réseau (faible latence mais puissance limitée) jusqu'au Cloud (latence importante mais disposant d'importante puissance de traitement). Par ailleurs, les applications sont de plus en plus créées sous la forme d'un ensemble de services autonomes, développés par des équipes indépendantes selon les pratiques DevOps. Cette évolution des conceptions de systèmes a introduit une hétérogénéité et une incertitude extrêmes dans les applications émergentes, mettant en évidence les limites des stratégies de gestion traditionnelles. Cette thèse s'intéresse à la conception d'un système pour les applications Big Data (puis plus précisément des applications de Deep Learning) qui repense les stratégies de gestion existantes avec un accent particulier sur l'hétérogénéité des données entrantes, des applications et des ressources. Nous étudions d'abord le découplage des producteurs et consommateurs de données dans les applications basées sur des microservices en tant que point d'entrée pour exploiter efficacement les services disponibles, même ceux récemment publiés. En conséquence, nous proposons une approche de découverte de services basé sur des descriptions de services et sur une architecture Peer-to-Peer centrées sur les données. De plus, nous présentons un schéma d'adaptation qui adapte les microservices déployés pour contrôler l'impact de la fluctuation de la charge sur les performances des applications. Deuxièmement, pour surmonter la capacité limitée et hétérogène des ressources système, nous étudions le compromis entre la qualité et l'urgence des résultats dans les applications Big Data distribuées sur un continuum Edge-to-Cloud. En particulier, nous présentons une approche basée sur les données pour distribuer les workflows basés sur des microservices sur le continuum. De plus, nous proposons une stratégie d'adaptation des données qui réduit la qualité des données entrantes lorsque des optimisations potentielles de compromis qualité-latence sont disponibles. Nous appliquons ensuite les approches proposées dans le cadre d'applications de Deep Learning.
Origine : Version validée par le jury (STAR)