Machine learning and combinatorial optimization algorithms, with applications to railway planning
Apprentissage statistique et algorithmes d'optimisation combinatoire, avec des applications à la planification ferroviaire
Résumé
This thesis investigates the frontier between machine learning and combinatorial optimization, two active areas of applied mathematics research. We combine theoretical insights with efficient algorithms, and develop several open source Julia libraries. Inspired by a collaboration with the Société nationale des chemins de fer français (SNCF), we study high-impact use cases from the railway world: train failure prediction, delay propagation, and track allocation. In Part I, we provide mathematical background and describe software implementations for various tools that will be needed later on: implicit differentiation, temporal point processes, Hidden Markov Models and Multi-Agent Path Finding. Our publicly available code fills a void in the Julia package ecosystem, aiming at ease of use without compromising on performance. In Part II, we highlight theoretical contributions related to both statistics and decision-making. We consider a Vector AutoRegressive process with partial observations, and prove matching upper and lower bounds on the estimation error. We unify and extend the state of the art for combinatorial optimization layers in deep learning, gathering various approaches in a Julia library called InferOpt.jl. We also seek to differentiate through multi-objective optimization layers, which leads to a novel theory of lexicographic convex analysis. In Part III, these mathematical and algorithmic foundations come together to tackle railway problems. We design a hierarchical model of train failures, propose a graph-based framework for delay propagation, and suggest new avenues for track allocation, with the Flatland challenge as a testing ground.
Cette thèse en mathématiques appliquées mélange l’apprentissage statistique et l’optimisation combinatoire. Elle associe des avancées théoriques à des algorithmes efficaces, introduisant au passage plusieurs librairies open source en Julia. Grâce à une collaboration avec la SNCF, plusieurs applications au transport ferroviaire sont présentées : prédiction des pannes, propagation des retards et allocation des voies. La Partie I décrit les fondements mathématiques et l’implémentation de plusieurs ingrédients utiles par la suite : différenciation implicite, processus ponctuels, modèles de Markov cachés, recherche d’itinéraires multi-agent. Notre code en libre accès remplit un vide dans l’écosystème Julia, combinant facilité d’usage et haute performance. La Partie II contient des contributions théoriques liées aux statistiques et à la prise de décision. Notre étude d’un processus autorégressif vectoriel partiellement observé met en évidence des bornes supérieure et inférieure cohérentes sur l’erreur d’estimation. Une exploration des couches d’optimisation combinatoire pour l’apprentissage profond nous permet de développer le package InferOpt.jl, qui unifie et approfondit l’état de l’art. Pour étendre ces méthodes à des couches d’optimisation multi-objectif, nous construisons une nouvelle théorie de l’optimisation lexicographique convexe. La Partie III s’inspire des deux précédentes pour traiter des problèmes ferroviaires concrets. Nous proposons un modèle hiérarchique les pannes de trains, une approche graphique pour la propagation des retards, et de nouvelles perspectives pour l’allocation des voies, avec le challenge Flatland comme terrain d’expérimentation.
Origine : Version validée par le jury (STAR)