Solution de gestion pilotée par les données pour les applications Deep Learning basées sur des microservices
Auteur / Autrice : | Zeina Houmani |
Direction : | Eddy Caron, Daniel Balouek-Thomert |
Type : | Thèse de doctorat |
Discipline(s) : | Informatique |
Date : | Soutenance le 16/12/2021 |
Etablissement(s) : | Lyon |
Ecole(s) doctorale(s) : | École doctorale InfoMaths (Lyon ; 2009-....) |
Partenaire(s) de recherche : | établissement opérateur d'inscription : École normale supérieure de Lyon (2010-...) |
établissement de codirection internationale : Rutgers university (N.J.) | |
Laboratoire : Laboratoire de l'informatique du parallélisme (Lyon ; 1988-....) - Algorithms and Software Architectures for Distributed and HPC Platforms - Rutgers Discovery Informatics Institute | |
Jury : | Président / Présidente : Laure Gonnord |
Examinateurs / Examinatrices : Eddy Caron, Daniel Balouek-Thomert, Laure Gonnord, Laurence Duchien, Cédric Tedeschi, Gabriel Antoniu, Michaël Krajecki | |
Rapporteurs / Rapporteuses : Laurence Duchien, Cédric Tedeschi |
Mots clés
Mots clés contrôlés
Résumé
La capacité à collecter des données en temps réel a considérablement augmenté au cours de la dernière décennie. Pourtant, la capacité d'analyser ces données pour les exploiter n'a pas suivi la même progression. Avec le développement des appareils connectés et des technologies réseau, le Big Data a fait émerger des outils et des applications capables d'extraire des informations à partir des données collectées. La majorité des applications issues du Big Data nécessitent un traitement en temps réel pour maintenir la pertinence de leurs résultats. Cependant, garantir la performance en temps réel est entravé par les stratégies de gestion traditionnelles des systèmes Cloud. Les systèmes actuels pour les applications Big Data reposent sur des ressources hétérogènes allant de la périphérie du réseau (faible latence mais puissance limitée) jusqu'au Cloud (latence importante mais disposant d'importante puissance de traitement). Par ailleurs, les applications sont de plus en plus créées sous la forme d'un ensemble de services autonomes, développés par des équipes indépendantes selon les pratiques DevOps. Cette évolution des conceptions de systèmes a introduit une hétérogénéité et une incertitude extrêmes dans les applications émergentes, mettant en évidence les limites des stratégies de gestion traditionnelles. Cette thèse s'intéresse à la conception d'un système pour les applications Big Data (puis plus précisément des applications de Deep Learning) qui repense les stratégies de gestion existantes avec un accent particulier sur l'hétérogénéité des données entrantes, des applications et des ressources. Nous étudions d'abord le découplage des producteurs et consommateurs de données dans les applications basées sur des microservices en tant que point d'entrée pour exploiter efficacement les services disponibles, même ceux récemment publiés. En conséquence, nous proposons une approche de découverte de services basé sur des descriptions de services et sur une architecture Peer-to-Peer centrées sur les données. De plus, nous présentons un schéma d'adaptation qui adapte les microservices déployés pour contrôler l'impact de la fluctuation de la charge sur les performances des applications. Deuxièmement, pour surmonter la capacité limitée et hétérogène des ressources système, nous étudions le compromis entre la qualité et l'urgence des résultats dans les applications Big Data distribuées sur un continuum Edge-to-Cloud. En particulier, nous présentons une approche basée sur les données pour distribuer les workflows basés sur des microservices sur le continuum. De plus, nous proposons une stratégie d'adaptation des données qui réduit la qualité des données entrantes lorsque des optimisations potentielles de compromis qualité-latence sont disponibles. Nous appliquons ensuite les approches proposées dans le cadre d'applications de Deep Learning.