Apprentissage d'heuristiques pour la résolution de problèmes d'optimisation combinatoire dans les réseaux

Heuristics Learning for Solving Network Optimization Problems

• Auteur / Autrice : Chen Dang
• Direction : Cristina Bazgan, Morgan Chopin
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 08/12/2023
• Etablissement(s) : Université Paris sciences et lettres
• Ecole(s) doctorale(s) : Ecole doctorale SDOSE (Paris)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'analyse et modélisation de systèmes pour l'aide à la décision (Paris) - Laboratoire d'analyse et modélisation de systèmes pour l'aide à la décision / LAMSADE
• Partenaire(s) de recherche : établissement opérateur d'inscription : Université Paris Dauphine-PSL (1968-....)
• Jury : Président / Présidente : Bernard Fortz
• Jury : Examinateurs / Examinatrices : Cristina Bazgan, Morgan Chopin, Bernard Fortz, Hind Castel, Frédéric Saubion, Frédéric Giroire, Tristan Cazenave, Pierre-Henri Wuillemin
• Jury : Rapporteur / Rapporteuse : Hind Castel, Frédéric Saubion

Mots clés

Mots clés contrôlés

OLSR (protocole de réseaux d'ordinateurs)

Apprentissage par renforcement (intelligence artificielle)

Monte-Carlo, Méthode de

Mots clés libres

Optimisation des Réseaux

Méthode de Monte-Carlo

Ingénierie de Trafic

Segment Routing

Apprentissage par Renforcement

Network Optimization

Monte Carlo Methods

Traffic Engineering

Segment Routing

Reinforcement Learning

Résumé

Cette thèse examine les problèmes d'optimisation dans l'ingénierie de traffic des réseaux de télécommunications. En particulier, nous avons étudié le problème de minimisation de la congestion dans les réseaux IP reposant sur le protocole de routage au plus court chemin (OSPF, IS-IS) d'une part et le segment routing d'autre part.Dans un premier temps, nous introduisons de nouvelles méthodes pour améliorer la performance des réseaux. La principale contribution de la thèse est l'application de la méthode de recherche Monte Carlo Nested Rollout Policy Adaptation (NRPA) au problème d'optimisation des métriques (OSPF Weight Setting). L'approche proposée s'adapte bien à la taille de l'instance et peut être facilement étendue pour prendre en compte des contraintes ou des critères d'optimisation supplémentaires (délai bout en bout, unicité des chemins de routage, etc...).En outre, la thèse présente une version améliorée de NRPA, appelée Meta-NRPA, qui utilise la théorie de l'arrêt optimal pour mieux guider la recherche de NRPA. De plus, nous présentons plusieurs techniques exploratoires pour NRPA permettant une exploration plus efficace de l'espace des solutions. Nos expérimentations confirment l'amélioration significative des performances de NRPA.Dans un deuxième temps, la thèse introduit un algorithme Hierarchical Shortest Path Routing (HSPR), une version adaptée de l'algorithme Customizable Contraction Hierarchy (CCH). Il accélère significativement la simulation des protocoles de routage au plus court chemin comparé aux méthodes traditionnelles basées sur l'algorithme de Dijkstra. Nous l'avons combiné avec l'algorithme Meta-NRPA pour résoudre le problème OSPF Weight Setting. Les résultats obtenus montrent une amélioration substantielle des performances de Meta-NRPA, surtout dans les grands réseaux.Enfin, nous étudions également plusieurs heuristiques pour le problème d'optimisation de routage par segments, en se concentrant sur le Waypoint Optimization problem. Nous combinons une approches basée sur la recherche locale et la décomposition arborescente pour guider efficacement la recherche. Nous proposons également d'autres approches basées sur le reinforcement learning et évaluons leur efficacité à travers une série d'expériences approfondies sur des données réelles et synthétiques.

This thesis examines optimization problems in telecommunications network traffic engineering. In particular, we have studied the problem of congestion minimization in IP networks based on the shortest path routing protocol (OSPF, IS-IS) on the one hand, and segment routing on the other.Initially, we introduce new methods to enhance network performance. The main contribution of this thesis is the application of the Monte Carlo Nested Rollout Policy Adaptation (NRPA) method to the problem of optimizing metrics (OSPF Weight Setting). The proposed approach adapts well to the size of the instance and can be readily expanded to consider additional constraints or optimization criteria (end-to-end delay, uniqueness of routing paths, etc...).Furthermore, the thesis introduces an enhanced version of NRPA, named Meta-NRPA, which leverages the optimal stopping theory to better guide the search of NRPA. Additionally, we present several exploratory techniques for NRPA, enabling a more efficient exploration of the search space. Our experiments confirm a marked improvement in NRPA's performance.Subsequently, the thesis presents a Hierarchical Shortest Path Routing (HSPR) algorithm, an adapted version of the Customizable Contraction Hierarchy (CCH) algorithm. It significantly accelerates the simulation of shortest path routing protocols compared to traditional methods based on the Dijkstra algorithm. We combined it with the Meta-NRPA algorithm to address the OSPF Weight Setting problem. The results showcase a substantial enhancement in Meta-NRPA's performance, especially in large networks.Lastly, we also investigate several heuristics for the segment routing optimization problem, focusing on the Waypoint Optimization problem. We merge an approach based on local search and tree decomposition to effectively guide the search. We also propose other methods based on reinforcement learning and assess their effectiveness through a series of in-depth experiments on real and synthetic data.