Approche numérique de problèmes d'optimisation et applications : machine learning, imagerie, théorie des jeux

Numerical approach to optimization problems and applications : machine learning, imaging, game theory

• Auteur / Autrice : Florian Labarre
• Direction : Paul-Emile Maingé
• Type : Thèse de doctorat
• Discipline(s) : Mathématiques Appliquées
• Date : Soutenance le 20/12/2021
• Etablissement(s) : Antilles
• Ecole(s) doctorale(s) : École doctorale Milieu insulaire tropical à risques : protection, valorisation , santé et développement (Pointe-à-Pitre)
• Partenaire(s) de recherche : Laboratoire : Management, Économie, Modélisation, Informatique et Aide à la Décision
• Jury : Examinateurs / Examinatrices : Paul-Emile Maingé, Jalal Fadili, Hassan Riahi, Isabelle Chalendar, Hoai An Lê Thi, Abdelatif Moudafi, Paul Silvère Nuiro, Rémy-Robert Joseph
• Jury : Rapporteur / Rapporteuse : Jalal Fadili, Hassan Riahi

Mots clés

Mots clés contrôlés

Optimisation mathématique

Mots clés libres

Systèmes dissipatifs

Opérateurs maximaux monotones

Minimisation structurée

Inclusion monotone

Méthode proximal

Dissipative system

Maximally monotone operators

Structured minimization

Monotone inclusion

Proximal method

Résumé

Cette thèse est consacrée à l’étude de systèmes dynamiques dissipatifs et à la conception d’algorithmes pour la résolution de problèmes d’optimisation (tels que la minimisation de fonctions convexes et, plus généralement, le calcul de zéros d’opérateurs monotones) dans un cadre Hilbertien réel.Dans un premier temps, nous proposons et étudions, dans un cadre continu, des dynamiques rapides de type Newton pour la résolution de ces problèmes. Le système dynamique considéré est d’abord inspiré par la reformulation d’une équation du second ordre de type Nesterov stabilisée (par l’ajout d’un amortissement géométrique Hessien) pour la minimisation de fonctions convexes. Cette stratégie est ensuite étendue au cas d’opérateurs monotones généraux. Cela nous permet de traiter simultanément les deux problèmes d’optimisation considérés via un système dissipatif du premier ordre ne faisant intervenir que le gradient de la fonction objectif et l’approximation de Yosida d’un opérateur général. Cette dernière formulation constitue un cadre particulièrement adapté à la construction de schémas numériques issus de variantes discrètes de notre modèle continu. Elle permet, en effet, de s’affranchir de la discrétisation temporelle de termes contraignants qui pourraient donner lieu à des schémas coûteux en calculs et/ou limités en application.Puis, nous nous intéressons à la minimisation structurée de fonctions convexes non lisses, à l’aide d’un algorithme issu d’une discrétisation temporelle de notre modèle du premier ordre. L’algorithme AFB (Accelerated Forward-Backward), récemment proposé comme variante convergente de FISTA (Fast Iterative Shrinkage-Thesholding Algorithm), est obtenu comme cas particulier de notre schéma numérique. Outre les propriétés de convergence bien connues de AFB, nous démontrons la convergence rapide vers zéro des sous-gradients de la fonction objectif. Ceci n’était démontré jusqu’alors que pour des fonctions suffisamment régulières.Finalement, concernant de la résolution d’inclusions monotones structurées plus générales, nous proposons et nous étudions un algorithme de type Forward-Backward incorporant un terme inertiel, un terme de relaxation ainsi qu’un terme correcteur.Nous démontrons, en plus de la convergence de la méthode, des propriétés proches de celles obtenues dans le cadre de la minimisation convexe structurée en termes de vitesse discrète et de résidus de points fixes.

This thesis is devoted to the study of dissipative dynamical systems and to the design of algorithms related to optimization problems (such as convex minimization, and more generally, the computation of zeros of monotone operators) in a real Hilbert framework.In a first step, we propose and study, in a continuous framework, fast Newton-like dynamics related to these problems. The considered dynamical system is first inspired by the reformulation of a (stabilized) second order Nesterov-type equation (by adding a geometric Hessian damping) for the minimization of convex functions. This strategy is then extended to the case of general monotone operators. This allows us to treat simultaneously the two considered optimization problems, via first-order dissipative system that only involves the gradient of the objective function and the Yosida approximation of a general operator. This last formulation constitutes a particularly well-adapted framework for the design of numerical schemes based upon discrete variants of our continuous model. Indeed, it allows us to get rid of the temporal discretization of constraining terms which could lead to computationally expensive and/or processes of limited applications.Next, we focus on convex and non-smooth structured minimization problems, by using new class of algorithms derived from a temporal discretization of our firstorder model. The process AFB (Accelerated Forward-Backward), which was recently proposed as a convergent variant of FISTA (Fast Iterative Shrinkage-Thesholding Algorithm), is obtained as a special case of our numerical scheme. In addition to the well-known convergence properties for AFB, we prove the fast convergence to zero of the subgradients of the objective function. This last feature was established so far for sufficiently smooth functions only.Finally, regarding the numerical approach to more general structured monotone inclusions, we propose and study a Forward-Backward algorithm incorporating an inertial term, a relaxation factor and a correction term. In addition to the convergence of the method, we prove similar properties to those obtained for convex structured minimization in term of discrete velocity and fixed-point residual.