Configuration algorithmique par apprentissage et optimisation

Algorithmic configuration by learning and optimization

• Auteur / Autrice : Gabriele Iommazzo
• Direction : Leo Liberti, Antonio Frangioni
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 10/12/2021
• Etablissement(s) : Institut polytechnique de Paris en cotutelle avec Università degli studi (Pise, Italie)
• Ecole(s) doctorale(s) : École doctorale de l'Institut polytechnique de Paris
• Partenaire(s) de recherche : établissement opérateur d'inscription : École polytechnique (Palaiseau, Essonne ; 1795-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique de l'École polytechnique (Palaiseau, Essonne)
• Jury : Président / Présidente : Frédéric Messine
• Jury : Examinateurs / Examinatrices : Leo Liberti, Antonio Frangioni, Emilio Carrizosa, Clarisse Dhaenens, Sonia Vanier
• Jury : Rapporteurs / Rapporteuses : Emilio Carrizosa, Dominique Orban

Mots clés

Mots clés contrôlés

Programmation (mathématiques)

Intelligence artificielle

Apprentissage automatique

Recherche opérationnelle

Mots clés libres

Configuration des algorithmes

Apprentissage machine

Programmation mathématique

Solveurs d'optimisation

Géométrie des distances

Algorithm configuration

Machine learning

Mathematical programming

Optimization solvers

Distance geometry

Parameter tuning

Résumé

Les sujets de recherche décrits dans cette thèse de doctorat se situent à l'intersection du Machine Learning (ML) et de la Programmation Mathématique (PM). Les principales contributions concernent le problème de la configuration des algorithmes (ACP) et le problème de la géométrie des distances (DGP).Dans la première partie du manuscrit, nous présentons la PM et le ML.Dans la deuxième partie, nous passons en revue la littérature sur le ACP. Étant donné un algorithme configurable A et une entrée P pour A, le ACP aborde l'identification de la configuration des paramètres c* de A assurant la meilleure performance algorithmique p dans la résolution de P. Comme la plupart des algorithmes ont un très grand nombre de paramètres, cette tâche est très difficile en pratique.Nous proposons deux nouvelles méthodologies fondées sur la PM, utilisant les paradigmes de ML comme éléments apparaissant dans une formulation de PM, pour résoudre l'ACP. Puisque la performance algorithmique est généralement une fonction boîte noire (son expression analytique est inconnue), nous construisons d'abord un prédicteur ML pour estimer le comportement de A. Notamment, nous apprenons soit: a) une approximation de p, soit b) une approximation d'une fonction reliant P et un niveau de performance requis à toute configuration l'atteignant. Dans une deuxième phase, nous traduisons les propriétés mathématiques sous-jacentes à l'approximation apprise en termes de PM. Nous intégrons ces composants dans une formulation de PM. Son objectif optimise le prédicteur dérivé de ML ; ses contraintes encodent les conditions de dépendance/compatibilité sur les paramètres et, potentiellement, d'autres conditions sur le prédicteur. Cela nous permet de formuler l'ACP par PM et de l'optimiser, à l'arrivée d'une nouvelle instance P', pour récupérer la configuration algorithmique c* réalisant la meilleure performance algorithmique pour P'. On espère que c* est une bonne configuration pour résoudre effectivement l'instance P' avec A. Ce cadre peut être adapté pour fonctionner avec de nombreux paradigmes ML. Les méthodologies les plus importantes de la littérature, qui traitent l'ACP comme un problème de boîte noire, ne peuvent trouver que des configurations qui sont bonnes pour un ensemble d'instances ayant des caractéristiques similaires. Alors que les méthodologies de type boîte noire pourraient ne pas être adaptées à des situations où l'ensemble des configurations admissibles est large et où c* dépend de l'instance en question, les algorithmes de solution de PM devraient être plus efficaces, puisqu'ils utilisent une structure de problème. Notre travail sur la configuration des algorithmes est motivé par le problème de la recherche de la meilleure paramétrisation d'un algorithme de solution de PM (un solveur d’optimisation), déployé sur un problème de décision ou d'optimisation donné. En particulier, nous étudions comment les choix d'implémentation dans la phase d'apprentissage influencent non seulement la précision du prédicteur appris, mais aussi le coût de la résolution de la formulation de PM dérivé, donnant lieu à des compromis non triviaux.Dans la troisième partie du manuscrit, nous considérons une méthodologie pour résoudre le DGP, c’est à dire pour trouver une réalisation d'un graphe dans un espace euclidien de dimension donnée, où les arêtes sont réalisées comme des segments droits de longueur égale aux poids des arêtes. Une approche habituelle consiste à résoudre une formulation de PM pour déterminer la position des sommets dans l'espace euclidien donné. Nous proposons une nouvelle formulation de PM où, à la place, nous considérons les cycles du graphe, et nous décidons de la longueur des segments modélisant les arêtes de chaque cycle. Notre recherche est en partie motivée par le fait qu'elle peut servir de méthodologie de plongement de graphes, en vue d'appliquer aux graphes des paradigmes de ML basés sur les vecteurs.

The research topics described in this Ph.D. thesis lie at the intersection of Machine Learning (ML) and Mathematical Programming (MP). The main contributions concern the Algorithm Configuration Problem (ACP) and the Distance Geometry Problem (DGP).In the first part of the manuscript, we provide introductions to MP and ML.In the second part, we survey the literature on the ACP. Given a configurable algorithm A and an input P for A, the ACP addresses the issue of identifying the parameter configuration c* of A ensuring the best algorithmic performance p in solving P. The ACP can be formulated as an optimization problem, where the constraints define the set of feasible configurations, and the objective optimizes the performance function p. Since most algorithms have a very large number of configurable parameters, this is usually a very hard task to tackle, in practice.We propose two novel MP-driven methodologies, using ML paradigms as elements appearing in an MP formulation, to address the ACP. Since algorithmic performance is usually a black-box function (i.e., its closed form analytical expression is unknown), we first train a ML predictor to estimate the behaviour of A. Notably, we learn either: a) an approximation of p, or b) an approximation of a function mapping P and a required performance level to any configuration achieving it. In a second phase, we translate the mathematical properties underlying the learned approximation into MP terms. We embed these components into an MP formulation. Its objective optimizes the ML-derived predictor; its constraints encode dependency/compatibility conditions over the parameters, required for a configuration to be feasible, and, potentially, other conditions on the learned approximation. This allows us to formulate the ACP by MP and to optimize it, upon the arrival of a new instance P’, to retrieve the algorithmic configuration c* achieving the best (estimated) algorithmic performance for P’. Hopefully, c* is a good configuration for actually solving the instance P’ with A. This framework can be adapted to work with many ML paradigms, as long as one is capable of encoding the learned approximation by MP. The most prominent methodologies in the literature, treating the ACP as a black-box problem, can only find configurations which are good for a set of instances with similar characteristics. While black-box methodologies may not scale well to settings where the set of feasible configurations is large and c* depends on the instance at hand, MP solution algorithms should be more efficient, since they use a problem structure. Because of our interest in MP, our work in algorithm configuration is motivated by the problem of finding the best parametrization of an MP solution algorithm, deployed on a given decision or optimization problem. Specifically, we employ our approaches for tuning the parameters of an optimization solver, deployed on instances of a hard mixed-integer linear programming problem. In particular, we investigate how implementation choices in the learning phase affect not only the accuracy of the learned predictor, but also the cost of solving the derived MP formulation, yielding nontrivial trade-offs.In the third part of the manuscript, we consider a methodology for solving the DGP, i.e., for finding a realization of a graph in a Euclidean space of given dimension, where the edges are realized as straight segments of length equal to the edge weights. A customary approach is to solve a MP formulation to determine the position of the vertices in the given Euclidean space. We propose a new MP formulation where, instead, we consider the cycles of the graph, and we decide the length of the segments modelling the edges of each cycle. Our research is partly motivated by the fact that it can serve as a graph embedding methodology, in view of applying vector-based ML paradigms to graphs.