Résolution de problèmes d'optimisation combinatoire par des méthodes hybrides combinant des techniques d'apprentissage automatique à des techniques existantes

Solving combinatorial optimization problems by hybrid methods combining machine learning techniques with existing techniques

• Auteur / Autrice : Fulin Yan
• Direction : Francois Clautiaux
• Type : Projet de thèse
• Discipline(s) : Mathématiques appliquées et calcul scientifique
• Date : Inscription en doctorat le 14/03/2023
• Etablissement(s) : Bordeaux
• Ecole(s) doctorale(s) : École doctorale de mathématiques et informatique
• Partenaire(s) de recherche : Laboratoire : IMB - Institut de Mathématiques de Bordeaux
• Partenaire(s) de recherche : Equipe de recherche : Optimisation Mathématique Modèle Aléatoire et Statistique

Mots clés

Mots clés libres

Optimisation combinatoire

Processus de décision séquentiels

Apprentissage automatique

Machine learning

Sequential decision processes

Combinatorial optimization

Résumé

Cette thèse étudiera comment l'interaction entre l'apprentissage automatique et les techniques d'optimisation existantes peut aider à calculer des solutions de 'bonne qualité' à des problèmes pouvant être exprimés comme des ensembles de processus de décision séquentiels (PDS), c'est-à-dire décrits comme une succession de prises de décision basées sur l'état courant d'un système. Au formalisme PDS est associé une représentation du problème (ou d'un sous-problème de celui-ci) sous la forme d'un graphe représentant les états du système et les transitions possibles entre ces états. Une partie du travail consistera à identifier les modèles de réseaux neuronaux les plus pertinents pour être utilisés conjointement avec des méthodes d'optimisation afin de construire des solutions heuristiques pour des PDS. Les axes à explorer porteront notamment sur l'utilisation de modèles d'apprentissage automatique pour aider à réduire la taille du problème en apprenant une représentation graphique plus grossière de celui-ci, pour définir les caractéristiques pertinentes des noeuds et des arcs du graphe associé, ou bien encore pour détecter les décisions menant à des solutions de bonne qualité. De par la structure des problèmes à résoudre et de l'impossibilité d'obtenir des données d'entraînement labellisés en quantité suffisante, l'utilisation de techniques d'apprentissage par renforcement sera mise en œuvre. La méthodologie de recherche se basera sur une comparaison entre les méthodes hybrides développées et l'état de l'art des méthodes traditionnelles en optimisation combinatoire. La comparaison prendra en compte la qualité des solutions proposées par les différentes méthodes mais aussi le temps de calcul nécessaire à l'obtention de ces solutions. Les performances de ces méthodes seront évaluées à la fois sur des instances des problèmes générés automatiquement mais seront aussi évalués, dans la mesure du possible, sur des instances de problèmes industriels réels, ce qui permettra d'évaluer au mieux la pertinence de ces méthodes à ce type de problématiques. Dans un premier temps, nous nous concentrerons sur la résolution de problèmes qui peuvent être formulés comme un processus de décision séquentiel (PDS) avec des contraintes linéaires supplémentaires liées à la consommation totale de ressources dans toute séquence de décisions. Nous supposons que nous avons une formulation récursive du problème implicitement définie par un multi-graphe acyclique dirigé (c'est-à-dire que nous n'avons pas accès à la définition compacte du problème). D'une part, les heuristiques basées sur des algorithmes de labels tronqués et des méthodes de recherche arborescente seront étudiées, et l'impact des méthodes d'apprentissage pour améliorer ces heuristiques sera évalué. D'autre part, nous évaluerons la capacité de l'apprentissage automatique à permettre de mieux paramétrer les techniques d'expansion de l'espace d'état. Dans l'idéal, cette thèse permettra le développement d'un algorithme permettant de construire des solutions réalisables de qualité pour un problème défini uniquement par une formulation récursive (c'est à dire sans passer par la construction de relaxation du graphes d'états). Dans un deuxième temps, nous étudierons le cas où plusieurs PDS sont considérés simultanément et connectés par des contraintes. Il s'agira de généraliser les résultats obtenus dans la première partie sur les chemins à des solutions composées d'ensembles de chemins.

This thesis will study how the interaction between machine learning and existing optimization techniques can help to compute 'good quality' solutions to problems that can be expressed as sequential decision processes (SDP), i.e. described as a succession of decisions based on the current state of a system. The formalism of sequential decision processes allows building state graphs representing the states of the system and the possible transitions between these states. Part of the work will consist in identifying the most relevant graph neural network models to be used in conjunction with optimization methods to build heuristic solutions for SDP. We will explore the use of machine learning models to reduce the size of the problem by learning a coarser graphical representation of it, to define the relevant characteristics of the nodes and arcs of the graph, and to detect the decisions leading to good quality solutions. Due to the structure of the problems to be solved and the impossibility of obtaining sufficient labelled training data, we will focus on using reinforcement learning techniques. We will compare the hybrid methods developed and the state of the art methods in combinatorial optimization. The comparison will take into account the quality of the solutions proposed by the different methods, but also the computation time required to obtain these solutions. The performances of these methods will be evaluated both on benchmark instances from the literature, and, where possible, on instances of real industrial problems. Initially, we will focus on solving problems that can be formulated as a unique sequential decision process (SDP) with additional linear constraints related to the total resource consumption in any sequence of decisions. We assume that we have a recursive problem formulation implicitly defined by a directed acyclic multigraph (i.e., we do not have access to the compact problem definition). On the one hand, heuristics based on truncated labeling algorithms and tree search methods will be studied, and the impact of learning methods to improve these heuristics will be evaluated. On the other hand, we will evaluate the ability of machine learning to allow better parameterization of state space expansion techniques. Ideally, this thesis will lead to the development of an algorithm allowing the construction of quality feasible solutions for a problem defined only by a recursive formulation (i.e. without going through the construction of a relaxation of the state graph). In a second step, we will study the case where several SDPs are considered simultaneously and connected by constraints. We will generalize the results obtained in the first part for paths to solutions composed of sets of paths.