Optimizing resource utilization in distributed computing systems for automotive applications
Optimisation de l'utilisation des ressources dans les systèmes informatiques distribués pour les applications automobiles
Résumé
One of the main challenges for the automobile industry in the digital age is to provide their customers with a reliable and ubiquitous level of connected services. Smart cars have been entering the market for a few years now to offer drivers and passengers safer, more comfortable, and entertaining journeys. All this by designing, behind the scenes, computer systems that perform well while conserving the use of resources.The performance of a Big Data architecture in the automotive industry relies on keeping up with the growing trend of connected vehicles and maintaining a high quality of service. The Cloud at Groupe PSA has a particular load on ensuring a real-time data processing service for all the brand's connected vehicles: with 200k connected vehicles sold each year, the infrastructure is continuously challenged.Therefore, this thesis mainly focuses on optimizing resource allocation while considering the specifics of continuous flow processing applications and proposing a modular and fine-tuned component architecture for automotive scenarios.First, we go over a fundamental and essential process in Stream Processing Engines, a resource allocation algorithm. The central challenge of deploying streaming applications is mapping the operator graph, representing the application logic, to the available physical resources to improve its performance. We have targeted this problem by showing that the approach based on inherent data parallelism does not necessarily lead to all applications' best performance.Second, we revisit the Big Data architecture and design an end-to-end architecture that meets today's demands of data-intensive applications. We report on CV's Big Data platform, particularly the one deployed by Groupe PSA. In particular, we present open-source technologies and products used in different platform components to collect, store, process, and, most importantly, exploit big data and highlight why the Hadoop system is no longer the de-facto solution of Big Data. We end with a detailed assessment of the architecture while justifying the choices made during design and implementation.
L'un des principaux défis de l'industrie automobile à l'ère du numérique est de fournir à ses clients un niveau fiable et omniprésent de services connectés. Les voitures intelligentes font leur entrée sur le marché depuis quelques années maintenant pour offrir aux conducteurs et aux passagers des trajets plus sûrs, plus confortables et plus divertissants. Tout cela en concevant, dans les coulisses, des systèmes informatiques performants tout en préservant l'utilisation des ressources.La performance d'une architecture Big Data dans l'industrie automobile repose sur le maintien de la tendance croissante des véhicules connectés et le maintien d'une qualité de service élevée. Le Cloud du Groupe PSA a un souci particulier d'assurer un service de traitement des données en temps réel pour tous les véhicules connectés de la marque : avec 200k véhicules connectés vendus chaque année, l'infrastructure est constamment remise en question.Par conséquent, cette thèse se concentre principalement sur l'optimisation de l'allocation des ressources tout en considérant les spécificités des applications de traitement en flux continu et en proposant une architecture de composants modulaire et affinée pour les scénarios automobiles.Premièrement, nous passons en revue un processus fondamental et essentiel dans Stream Processing Engines, un algorithme d'allocation de ressources. Le défi central du déploiement d'applications de streaming consiste à mapper le graphe opérateur, représentant la logique de l'application, aux ressources physiques disponibles pour améliorer ses performances. Nous avons ciblé ce problème en montrant que l'approche basée sur le parallélisme des données inhérent ne conduit pas nécessairement aux meilleures performances de tous les types d'applications.Deuxièmement, nous revisitons l'architecture Big Data et concevons une architecture de bout en bout qui répond aux exigences d'aujourd'hui des applications gourmandes en données. Nous faisons rapport de la plateforme Big Data de CV, notamment celle déployée par le Groupe PSA. En particulier, nous présentons des technologies et des produits open source utilisés dans différents composants de plate-forme pour collecter, stocker, traiter et, surtout, exploiter le Big Data et souligner pourquoi le système Hadoop n'est plus la solution de facto du Big Data. Nous terminons par un bilan détaillé de l'architecture tout en justifiant les choix effectués lors de la conception et de la mise en œuvre.
Origine : Version validée par le jury (STAR)