Résolution efficace des problèmes de point selle : critère d'arrêt basé sur le saut de dualité lissé pour les contextes convexes et algorithme de descente de coordonnées en non-convexe

Efficiently Solving Saddle Point Problems : Smoothed Duality Gap-Based Stopping Criterion for Convex Settings and a Nonconvex Coordinate Descent Algorithm

• Auteur / Autrice : Iyad Walwil
• Direction : Olivier Fercoq
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques appliquées
• Date : Soutenance le 04/12/2025
• Etablissement(s) : Institut polytechnique de Paris
• Ecole(s) doctorale(s) : École doctorale de mathématiques Hadamard (Orsay, Essonne ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire Traitement et communication de l'information (Paris ; 2003-....) - Laboratoire de Traitement et Communication de l'Information
• Partenaire(s) de recherche : Etablissement opérateur d'inscription : Télécom Paris (Palaiseau, Essonne ; 1878-....)
• Jury : Président / Présidente : Andrea Simonetto
• Jury : Examinateurs / Examinatrices : Andrea Simonetto, Antonin Chambolle, Franck Iutzeler, Panagiotis Patrinos, Aude Rondepierre
• Jury : Rapporteurs / Rapporteuses : Antonin Chambolle, Franck Iutzeler

Mots clés

Mots clés contrôlés

Fonctions convexes

Algorithmes optimaux

Optimisation mathématique

Mots clés libres

Optimisation (non-)convexe

Problèmes de point selle

Algorithmes primal-Duaux

Critères d'arrêt

Algorithmes à base de coordonnées et aléatoires

(Non-)Convex Optimization

Saddle Point Problems

Primal-Dual Algorithms

Stopping Criteria

Coordinate-Based and Randomized Algorithms

Résumé

L'optimisation mathématique est au cœur d'un vaste éventail de disciplines scientifiques et d'ingénierie : apprentissage automatique, intelligence artificielle, science des données, réseaux de transport, allocation de ressources, théorie des jeux, et bien d'autres encore.Quel que soit le domaine, ces problématiques se formulent in fine comme des problèmes d'optimisation, avec pour objectif de les résoudre efficacement — le plus souvent au moyen d'un algorithme adapté.Si cette thèse ne se concentre pas sur une application particulière, elle aborde un sujet plus fondamental : les algorithmes. En particulier, nous étudions les algorithmes primal-duaux pour résoudre des problèmes de point selle, avec l'objectif général de contribuer à les rendre plus efficaces en pratique. Deux éléments sont déterminants pour la performance : le critère d'arrêt, qui décide du moment où interrompre l'itération, et les pas de mise à jour, qui guident la progression vers une solution. En conséquence, ce travail est divisé en deux parties, chacune consacrée à l'un de ces aspects clés.Dans la première partie, nous améliorons le temps d'exécution des algorithmes primal-duaux en optimisant leurs critères d'arrêt pour la résolution de problèmes convexes avec contraintes d'égalité affines, ce qui permet d'arrêter plus tôt avec moins d'itérations.Nous étudions quatre critères d'arrêt et montrons dans quelles conditions ils permettent de détecter correctement une solution optimale.Le critère non calculable : l'écart d'optimalité et l'erreur de faisabilité; et les critères calculables : l'erreur de Karush-Kuhn-Tucker, le saut de dualité projeté et le saut de dualité lissé.Sous hypothèses de sous-régularité métrique ou de borne quadratique d'erreur, nous établissons que tous les critères calculables fournissent des bornes supérieures pratiques pour l'écart d'optimalité, et l'approximent efficacement. Nous montrons aussi la comparabilité entre certains critères dans des conditions précises.Des expériences numériques sur la poursuite parcimonieuse (basis pursuit) et sur des programmes quadratiques avec ou sans contrainte de positivité confirment ces résultats, et montrent que le saut de dualité lissé est le plus largement applicable.Dans la seconde partie, nous présentons deux nouveaux algorithmes primal-duaux pour traiter des problèmes de point selle non convexes, non concaves et non lisses, caractérisés par l'hypothèse d'inégalité variationnelle de Minty faible (MVI). Le premier, Nonconvex-Nonconcave Primal-Dual Hybrid Gradient (NC-PDHG), étend la méthode bien connue Primal-Dual Hybrid Gradient (PDHG) à cette classe difficile. Le second, Nonconvex-Nonconcave Stochastic Primal-Dual Hybrid Gradient (NC-SPDHG), intègre une descente de coordonnées primal-duale extrapolée aléatoirement, généralisant l'algorithme Stochastic Primal-Dual Hybrid Gradient (SPDHG).À notre connaissance, concevoir un algorithme basé sur les coordonnées pour ces problèmes est inédit, et la preuve de sa convergence a posé des difficultés majeures. Ce défi nous a conduits à utiliser PEPit, un outil Python d'analyse assistée des pires cas pour les méthodes du premier ordre. En combinant PEPit avec des techniques automatisées de fonctions de Lyapunov, nous avons pu dériver l'algorithme NC-SPDHG.Les deux méthodes s'avèrent efficaces sous une hypothèse modérée sur le paramètre MVI faible, atteignant la convergence avec des pas constants adaptés à la structure du problème.Des expériences numériques sur la régression sigmoïde avec perte au carré et des problèmes de régression perceptron valident nos résultats théoriques et montrent leur efficacité face aux algorithmes de l'état de l'art, où une convergence linéaire est observée. Enfin, une expérience de moindres carrés convexe-concave montre que NC-SPDHG est compétitif avec SAGA, un algorithme de référence dans le cadre convexe lisse.

Mathematical optimization lies at the heart of a vast range of scientific and engineering disciplines. From machine learning, artificial intelligence, and data science to transportation networks, resource allocation, and game theory, among many others.Regardless of the domain, such problems are ultimately formulated as optimization problems, with the aim of solving them efficiently—most often through a suitable algorithm.While this thesis does not focus on a specific real-world application, it concerns a more in-depth and fundamental topic: algorithms. In particular, we study primal-dual algorithms for solving saddle point problems, with the overarching goal of contributing toward making such algorithms more efficient in practice. Two elements are especially critical to the performance of any algorithm: the stopping criterion that decides when to halt, and the update steps that drive progress toward a solution. Accordingly, this work is divided into two main parts, each devoted to one of these key aspects.In the first part, we optimize the running time of the primal-dual algorithms by optimizing their stopping criteria for solving convex optimization problems under affine equality constraints, which means terminating the algorithm earlier with fewer iterations.We study the relations between four stopping criteria and show under which conditions they are accurate to detect optimal solutions. The uncomputable one: ''Optimality gap and Feasibility error,'' and the computable ones: the ''Karush-Kuhn-Tucker error,'' the ''Projected Duality Gap,'' and the ''Smoothed Duality Gap.''Assuming metric sub-regularity or quadratic error bound, we establish that all of the computable criteria provide practical upper bounds for the optimality gap, and approximate it effectively. Furthermore, we establish comparability between some of the computable criteria under certain conditions.Numerical experiments on basis pursuit, and quadratic programs with(out) non-negative weights corroborate these findings and show that the smoothed duality gap is more widely applicable than the rest.In the second part, we introduce two novel primal-dual algorithms for addressing nonconvex, nonconcave, and nonsmooth saddle point problems characterized by the weak Minty Variational Inequality (MVI) assumption. The first algorithm, Nonconvex-Nonconcave Primal-Dual Hybrid Gradient (NC-PDHG), extends the well-known Primal-Dual Hybrid Gradient (PDHG) method to this challenging problem class. The second algorithm, Nonconvex-Nonconcave Stochastic Primal-Dual Hybrid Gradient (NC-SPDHG), incorporates a randomly extrapolated primal-dual coordinate descent approach, extending the Stochastic Primal-Dual Hybrid Gradient (SPDHG) algorithm.To our knowledge, designing a coordinate-based algorithm to solve nonconvex-nonconcave saddle point problems is unprecedented, and proving its convergence posed significant difficulties. This challenge motivated us to utilize PEPit, a Python-based tool for computer-assisted worst-case analysis of first-order optimization methods. By integrating PEPit with automated Lyapunov function techniques, we successfully derived the NC-SPDHG algorithm. Both methods are effective under a mild condition on the weak MVI parameter, achieving convergence with constant step sizes that adapt to the structure of the problem.Numerical experiments on sigmoid regression with squared loss and perceptron-regression problems validate our theoretical findings and show their efficiency compared to existing state-of-the-art algorithms, where linear convergence is observed. Additionally, we conduct a convex-concave least-squares experiment to show that NC-SPDHG performs competitively with SAGA, a leading algorithm in the smooth convex setting.