Architecture Edge Cloud distribuée pour l'exécution d'applications basées sur l'intelligence artificielle

Distributed edge cloud architecture for executing AI based applications

• Auteur / Autrice : Youssouph Faye
• Direction : Mohammad-reza Salamatian, Francesco Bronzino
• Type : Projet de thèse
• Discipline(s) : STIC Informatique
• Date : Inscription en doctorat le 05/09/2022
• Etablissement(s) : Chambéry
• Ecole(s) doctorale(s) : Sciences Ingénierie Environnement
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'Informatique, Systèmes, Traitements de l'Information et de la Connaissance

Mots clés

Mots clés libres

Edge Cloud

Intelligence artificielle

Traitement distribué des données

Edge Cloud

Artificial Intelligence

Distributed data processing

Résumé

Les nouvelles générations de réseaux d'accès mobiles apportent la promesse de connexions de données à faible latence et à haut débit, associées à des capacités de traitement au sein du réseau. L'évolution technologique par rapport aux générations précédentes de réseaux permettra la mise en place de services informatiques mobiles émergents tels que le traitement de flux de données à fort trafic (par exemple, flux de données IoT) ou le contrôle de systèmes industriels (par exemple, voitures autonomes). Ces services intègrent rapidement des tâches de traitement à forte intensité d'IA dans leurs charges de travail (par exemple, dans les services des villes intelligentes ou les applications de réalité virtuelle et augmentée). Suivant l'architecture de microservices natifs dans le cloud, les applications d'IA sont conventionnellement composées de chaînes de tâches. Chaque tâche de la chaîne exécute une opération, souvent basée sur un modèle d'IA, pour traiter les informations entrantes et les transmettre à l'étape suivante du pipeline. Les chaînes d'IA diffèrent des chaînes de tâches de microservices classiques en raison de leur utilisation de modèles d'IA : à ce titre, elles nécessitent de repenser la manière dont l'orchestration des ressources a la périphérique du réseau correspond au déploiement d'applications en vue de la performance et de la fiabilité du système. Par nature, les performances des chaînes d'IA dépendent de la quantité d'informations contenues dans chaque flux traité, qui diffère et évolue dynamiquement dans le temps. En définitive, les performances de l'ensemble de la chaîne d'applications dépendront non seulement des contraintes liées aux ressources locales (bande passante et puissance de calcul), mais aussi du contexte actuel des informations d'entrée (contenu informatif de chaque flux traité). Ces nouvelles caractéristiques nécessitent l'introduction de nouveaux niveaux de dynamisme dans les schémas d'allocation de ressources et les méthodes d'orchestration pour le edge computing afin de répondre aux exigences de performance des applications IA. La thèse de doctorat développera de nouveaux mécanismes architecturaux pour faire face aux applications susmentionnées et à leur dynamicité en redéfinissant la manière dont les orchestrateurs de ressources distribuent leurs pipelines de traitement. En tirant parti des nœuds de calcul ultra-localisés, les orchestrateurs peuvent obtenir la capacité de diviser les pipelines de traitement non seulement hiérarchiquement mais aussi horizontalement. Les cadres d'informatique de périphérie évoluent rapidement pour inclure des accélérateurs de traitement - c'est-à-dire des GPU et des TPU - à l'extrême périphérie du réseau. Ces solutions visent à offrir une approche extrêmement évolutive pour prendre en charge des services de calcul à faible latence grâce à une approche de déploiement omniprésente. Malheureusement, ces architectures sont intrinsèquement sous-puissantes et s'appuyer sur elles pour supporter des applications d'IA nécessite de décider soigneusement comment distribuer la charge de traitement. La thèse définira de nouvelles solutions algorithmiques pour le problème décrit, en les évaluant sur des plateformes matérielles de pointe. Le travail de thèse se concentrera d'abord sur un cas d'utilisation réel pour caractériser les applications d'IA et évaluer comment elles s'adaptent aux solutions proposées : l'analyse vidéo en temps réel. Les applications d'analyse vidéo traitent les flux de plusieurs caméras vidéo dans une zone géographique étiquetée pour réaliser des fonctionnalités sophistiquées telles que la détection de mouvement ou l'extraction de caractéristiques. La réalisation de ces opérations nécessite traditionnellement l'exécution de plusieurs tâches en séquence (par exemple, décodage, extraction de l'arrière-plan, détection d'objets, extraction de plaques, comptage de véhicules). Mais la taille même des données générées par les flux de caméras rend impossible la centralisation du traitement. L'approche proposée de traitement décentralisé des bords devient alors la clé de leur succès.

New generations of mobile access networks bring the promise of low delay and high-speed throughput data connections paired with in-network processing capabilities. The technology evolution over previous network generations will enable emerging mobile computing services such as the processing of traffic intensive data streams (e.g., IoT data streams), or the control of industrial systems (e.g., autonomous cars). These services are quickly integrating AI-intensive processing tasks in their workloads (e.g., in smart city services or virtual and augmented reality applications). Following the cloud-native microservice architecture, AI applications are conventionally composed by chains of tasks. Each task of the chain executes an operation, often based on an AI model, to process the incoming information and feed it to the next step in the pipeline. AI pipelines differ from classical microservice chains of tasks due to their use of AI models: as such, they require to rethink how orchestration of edge resources matches app deployment towards system performance and reliability. By nature, AI chains' performance depends on the amount of information contained in each processed flow, which differs and dynamically changes over time. Ultimately, the whole application chain's performance will depend not only on local resources constraints (i.e.,, bandwidth and computing power), but also on the current context of the input information (i.e.,, the informative content of each processed flow). These new characteristics require the introduction of new levels of dynamicity in resource allocation schemes and orchestration methods for edge computing in order to meet the performance requirements of AI applications. The Ph.D. thesis will develop new architectural mechanisms to cope with the aforementioned applications and their dynamicity by re-defining how resource orchestrators distribute their processing pipelines. Taking advantage of ultra-localized computing nodes, orchestrators can gain the ability to split processing pipelines not only hierarchically but horizontally, too. Edge computing frameworks are rapidly evolving to include processing accelerators—i.e., GPUs and TPUs—–at the extreme edge of the network. Such solutions aim to offer an extremely scalable approach to support low latency computation services through a pervasive deployment approach. Unfortunately, these architectures are inherently underpowered and relying on them to support AI applications requires to carefully decide how to distribute the processing load. The thesis will define new algorithmic solutions for the described problem, evaluating them on state of the art hardware platforms. The thesis work will first focus on a real world use case to characterize AI applications and evaluate how they adapt to proposed solutions: real-time video analytics. Video analytics applications process several video cameras feeds in a tagged geographical area to perform sophisticated functionalities such as motion detection or features extraction. Performing these operations conventionally requires executing multiple tasks in sequence (e.g., decoding, background extraction, object detection, plate extraction, vehicle counting). But the sheer size of data generated by camera flows makes it infeasible to centralize the processing. The proposed decentralized edge processing approach becomes then key for their success.