Modélisation et apprentissage d'heuristiques pour des problèmes d'optimisation de grande dimension

Modelling and learning heuristics for high-dimensional optimisation problems

• Auteur / Autrice : Julien Canitrot-paradis
• Direction : Chokri Mraidha
• Type : Projet de thèse
• Discipline(s) : Informatique
• Date : Inscription en doctorat le 30/11/2023
• Etablissement(s) : université Paris-Saclay
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'intégration de systèmes et de technologies
• Partenaire(s) de recherche : Référent : Faculté des sciences d'Orsay

Mots clés

Mots clés libres

Apprentissage Machine

Optimisation

Intelligence Artificielle

Optimisation

Machine Learning

Artificial Intelligence

Résumé

L'optimisation combinatoire est omniprésente parmi les besoins des industriels lors des différentes phases de conception d'un produit (allocation de ressources sous contraintes, planification de tâches…). Il existe différentes approches pour obtenir des solutions. D'une part, des approches basées sur une formulation mathématique des problèmes étudiés et l'usage de solveurs adaptés ont été développés pour calculer des solutions telles que la programmation linéaire, la programmation par contraintes et d'autres moins répandus (programmation quadratique, non linéaire, semi-définie…) qui utilisent également des solveurs spécialisés ou généraux. Mais l'utilisation de méthodes exactes ou approchées basées sur le modèle du problème est rapidement confrontée à l'explosion combinatoire dès que la taille de l'instance du problème atteint une grande dimension pour trouver une solution dans un temps raisonnable. D'autre part, des méthodes de résolutions plus empiriques, les heuristiques, se dispensent de formulations mathématiques nécessaires à l'usage de solveurs. Elles permettent généralement d'obtenir de bons résultats dans un temps limité et sont en général construites à partir de méta-heuristiques classiques (algorithmes génétiques, recuit simulé…). L'efficacité de ces méthodes dépend fortement de l'instance étudiée du problème à résoudre. C'est pourquoi, de nouvelles approches ont émergé pour automatiser la construction d'heuristiques. Les hyper-heuristiques consistent à utiliser de l'apprentissage machine pour sélectionner, combiner, générer ou adapter des heuristiques ou des morceaux d'heuristiques pour résoudre des problèmes variés. Bien que l'objectif initial de ces approches est l'automatisation de la construction d'heuristiques, elles se sont avérées intéressantes pour d'autres objectifs. Elles sont, dans certains cas, capables de battre les meilleures heuristiques existantes pour certains problèmes, grâce à l'hybridation de plusieurs méthodes ayant chacune différentes qualités et défauts. L'enjeu est donc de proposer une méthodologie outillée de modélisation d'heuristiques à laquelle viendraient s'adjoindre des techniques d'apprentissage machine permettant d'améliorer leurs performances. Le travail reposera sur les larges connaissances dans ces domaines et nécessitera un état de l'art approprié vis-à-vis de cet enjeu. La démarche devra s'inscrire dans le cadre d'une nouvelle plateforme d'ingénierie système du laboratoire d'Ingénierie des Langages Exécutables et Optimisation du CEA LIST, qui vise à fournir un cadre général intégrant des moyens de modélisation, de raisonnement et résolution de problème, et d'apprentissage sous forme de bases de connaissances structurées et réutilisables. Cette approche sera confrontée à des problèmes d'optimisation de grande dimension issus des projets en partenariat avec des industriels dans les domaines de la conception d'architectures logicielles ou de systèmes de production, entre autres.

Combinatorial optimisation is omnipresent among the needs of industry during the various phases of product design (resource allocation under constraints, task planning, etc.). There are various approaches to obtaining solutions. On the one hand, approaches based on a mathematical formulation of the problems studied and the use of adapted solvers have been developed to calculate solutions, such as linear programming, constraint programming and other less widespread approaches (quadratic, non-linear, semi-defined programming, etc.) which also use specialised or general solvers. But the use of exact or approximate methods based on the model of the problem is quickly confronted with the combinatorial explosion as soon as the size of the problem instance reaches a large dimension in order to find a solution in a reasonable amount of time. On the other hand, more empirical resolution methods, known as heuristics, dispense with the mathematical formulations required for solvers. They generally give good results in a limited time and are generally based on classical meta-heuristics (genetic algorithms, simulated annealing, etc.). The effectiveness of these methods is highly dependent on the instance of the problem to be solved. This is why new approaches have emerged to automate the construction of heuristics. Hyper-heuristics consist of using machine learning to select, combine, generate or adapt heuristics or pieces of heuristics to solve various problems. Although the initial aim of these approaches is to automate the construction of heuristics, they have also proved interesting for other purposes. In some cases, they are capable of beating the best existing heuristics for certain problems, thanks to the hybridisation of several methods, each with different qualities and shortcomings. The challenge is therefore to propose a tool-based methodology for modelling heuristics, to which machine learning techniques can be added to improve their performance. The work will be based on extensive knowledge in these fields and will require an appropriate state of the art with regard to this issue. The approach will be part of a new systems engineering platform of the CEA LIST's Executable Language Engineering and Optimisation laboratory, which aims to provide a general framework integrating modelling, reasoning, problem-solving and learning resources in the form of structured and reusable knowledge bases. This approach will be applied to large-scale optimisation problems arising from projects in partnership with industry in the fields of software architecture design and production systems, among others.