Optimisation basée sur l'apprentissage des systèmes de streaming hybrides cdn/v2v

Learning-based optimization of hybrid cdn/v2v live streaming systems

• Auteur / Autrice : Zhejiayu Ma
• Direction : Guillaume Urvoy-Keller, Frédéric Giroire
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 20/12/2022
• Etablissement(s) : Université Côte d'Azur
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Nice ; 1992-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Informatique, signaux et systèmes (Sophia Antipolis, Alpes-Maritimes)
• Jury : Président / Présidente : Pietro Michiardi
• Jury : Examinateurs / Examinatrices : Guillaume Urvoy-Keller, Frédéric Giroire, Pietro Michiardi, Géraldine Texier, Yassine Hadjadj Aoul, Soufiane Rouibia, Isabelle Chrisment
• Jury : Rapporteurs / Rapporteuses : Géraldine Texier, Yassine Hadjadj Aoul

Mots clés

Mots clés contrôlés

Apprentissage par renforcement (intelligence artificielle)

Apprentissage automatique

Streaming (télécommunications)

Temps réel (informatique)

Mots clés libres

WebRTC

Apprentissage automatique

Sélection des voisins

Apprentissage par renforcement

WebRTC

Machine learning

Neighbor selection

Reinforcement learning

Hybrid CDN/V2V

Résumé

Le streaming est une industrie en plein essor alors que sa production et sa consommation deviennent plus simples que jamais. Avec un accès réseau amélioré grâce à la 5G, même les téléphones portables peuvent désormais être utilisés pour des diffusions en direct de vidéos en haute qualité. Les systèmes de streaming utilisent souvent des réseaux CDN (Content Delivery Network) pour diffuser le flux sur plusieurs zones géographiques. Cependant, le coût des services CDN, ou de la location de serveurs, s'élève rapidement à mesure que l'audience augmente. Pour réduire les coûts, l'approche viewer-to-viewer (V2V) a été introduite dans la diffusion en direct et over-the-top (OTT) en s'appuyant sur la technologie WebRTC. En effet, WebRTC permet l'échange de données directement entre navigateurs, ouvrant la voie vers le déploiement des systèmes hybrides mélangeant V2V et CDN. Grâce à WebRTC, les échanges V2V peuvent décharger une fraction importante du trafic des serveurs CDN, réduisant ainsi le coût d'exploitation.Dans la première partie de la thèse, nous abordons le problème de la sélection des voisins dans un système hybride CDN/V2V. La plupart des systèmes existants traitent ce problème en utilisant des heuristiques simples, par exemple favoriser les homologues du même FAI ou de régions géographiques proches. Nous avons analysé neuf mois de logs de fonctionnement d'un système commercial existant et montré la sous-optimalité de ces stratégies. Pour améliorer les performances, nous avons proposé des méthodes basées sur l'apprentissage qui permettent au tracker de prédire le débit entre deux hôtes. Il permet une sélection de voisins basée sur les données historiques des débits observés. Grâce à une analyse à large échelle hors ligne, nous montrons que des modèles de réseaux neuronaux peuvent simultanément améliorer le débit, réduire la latence entre les hôtes (un facteur important dans les diffusions live) et diminuer le taux de perte des segments de vidéo, une perte étant définie comme le fait que le segment n'est pas reçu avant l'expiration du timer qui renvoie le client vers le CDN (afin de garantir une bonne qualité de service). Dans la deuxième partie de la thèse, nous validons la solution proposée à l'aide d'une approche de tests A/B sur un système commercial en production. Nos campagnes de tests ont duré deux mois. Nous avons comparé neuf modèles et stratégies de sélection de voisins différents, y compris la sélection aléatoire de voisins, les méthodes classiques basées sur la localité et plusieurs modèles basés sur des réseaux de neurones. Les résultats des tests A/B montrent qu'un modèle de réseau de neurones adéquat peut considérablement améliorer les métriques clés du système -fraction de la vidéo servie en V2V, débit, délai et taux de perte- par rapport aux méthodes traditionnelles basées sur la localité.Les deux premières parties de la thèse visent à optimiser la sélection de voisins côté serveur avec le but de trouver un bon voisinage parmi des milliers de candidats possibles. Dans la dernière partie, nous cherchons à optimiser le comportement du client. Dans un réseau V2V basé sur WebRTC, certains utilisateurs mettent en cache les segments de vidéo sur leurs appareils, et d'autres attendent et récupèrent les segments de leurs voisins. Un paramètre clef côté client est le temps d'attente avant de se rabattre sur le CDN. Nous avons formulé le contrôle du temps d'attente comme un problème d'apprentissage par renforcement et proposé comme solution un algorithme de Q-learning (QWC). Nous avons effectué des expériences sur Grid5000, puis validé nos résultats en production avec 7-tests A/B quotidiens. QWC améliore la qualité d'expérience globale du streaming en minimisant la probabilité de famine du tampon vidéo, en améliorant la qualité vidéo (les clients peuvent visionner des qualités plus élevées), le tout sans compromettre la fraction de trafic reçu en mode V2V.

Streaming is a booming industry as its production and its consumption become more accessible than ever. With an improved network access through 5G, even mobile phones can be used as live streaming devices with a high-quality video. Streaming systems often use CDNs (Content Delivery Networks) to diffuse the streaming across multiple geographical regions. However, the cost of maintaining CDN servers or of purchasing services from providers becomes high as the audience grows. To further reduce the costs, viewer-to-viewer (V2V) overlays have been introduced into the live streaming and over-the-top (OTT) services with the maturing of WebRTC. WebRTC allows data exchange between browsers, greatly facilitating the deployment of such hybrid systems. With the help of WebRTC, V2V traffic can offload a significant fraction of the traffic from the CDN servers, consequently reducing the operational cost.In the first part of the thesis, we address the problem of neighbor selection in a hybrid CDN/V2V system. Most existing systems address this problem using simple heuristics, e.g., favor peers in the same ISP or close geographical regions. We analyzed nine months of operation logs of the production system of the EasyBroadcast SME and showed the sub-optimality of those classical strategies. To improve the system performance, we propose learning-based methods, including neural network models, which enable the tracker to predict the throughput between two hosts. It allows for a data-driven neighbor selection.With a large-scale offline data analysis, we show that, by using neural network models, we can improve the throughput over classic selection methods, while reducing the messaging delay and decreasing the chunk loss rate.In the second part of the thesis, we validate the proposed solution using an A/B testing approach in the wild. The A/B testing campaigns lasted two months. We compared nine different neighbor selection models and strategies, including random neighbor selection, classical locality-based methods, and several neural network models with different feature sets. The A/B testing results show that the neural network model can significantly improve key system metrics compared to the traditional locality-based methods. We observe higher V2V throughput, lower delay, fewer lost chunks, fewer rebuffering events, and fewer quality switches.The two first parts of the thesis aim at improving the server-side neighbor selection with the goal of finding a good neighborhood among thousands of candidates. In the last part, we optimize the client-side behaviors to complete the full picture of the thesis. In a WebRTC-based V2V network, some viewers cache the video chunks on their devices, and others wait and fetch the chunks from their neighbors. An important issue is to decide how long should users wait before asking the CDN for chunks. Due to the complex dynamics such systems, the classic Random Waiting Time Control (RWC) works relatively efficiently, but it is far from an optimum strategy. We formulated the Waiting Time Control as a reinforcement learning problem in this work and proposed a Q-learning-based Waiting Time Control (QWC). We performed offline experiments in the Grid5000 testbed and validated our result with a 7-day A/B testing campaign in the wild. QWC improves the overall streaming Quality-of-Experience (QoE) in rebuffering, video quality, and buffer length without compromising the V2V ratio.