Algorithmes de descente de gradient inertiels pour la minimisation convexe

par Vasileios Apidopoulos

Thèse de doctorat en Mathématiques appliquées et calcul scientifique

Sous la direction de Jean-François Aujol et de Charles Dossal.

Thèses en préparation à Bordeaux , dans le cadre de Mathématiques et Informatique , en partenariat avec IMB - Institut de Mathématiques de Bordeaux (laboratoire) .


  • Résumé

    Cette thèse porte sur l'étude des méthodes inertielles pour ré- soudre les problèmes de minimisation convexe structurés. Depuis les premiers travaux de Polyak et Nesterov, ces méthodes sont devenues très populaires, grâce à leurs effets d'accélération. Dans ce travail, on étudie une famille d'algorithmes de gradient proximal inertiel de type Nesterov avec un choix spécifique de suites de sur-relaxation. Les différentes propriétés de convergence de cette famille d'algorithmes, sont présentées d'une manière unifiée, en fonction du paramètre de sur-relaxation. En outre, on étudie ces propriétés, dans le cas des fonctions lisses vérifiant des hypothèses géométriques supplé- mentaires, comme la condition de croissance (ou condition de Łojasiewicz). On montre qu'en combinant cette condition de croissance avec une condition de planéité (flatness) sur la géométrie de la fonction minimisante, on obtient de nouveaux taux de convergence. La stratégie adoptée ici, utilise des analogies du continue vers le discret, en passant des systèmes dynamiques continus en temps à des schémas discrets. En particulier, la famille d'algorithmes inertiels qui nous intéresse, peut être identifiée comme un schéma aux différences finies d'une équation différentielle/inclusion. Cette approche donne les grandes lignes d'une façon de transposer les différents résultats et leurs démonstrations du continu au discret. Cela ouvre la voie à de nouveaux schémas inertiels possibles, issus du même système dynamique.

  • Titre traduit

    Inertial Gradient-Descent algorithms for convex minimization


  • Résumé

    This Thesis focuses on the study of inertial methods for solving composite convex minimization problems. Since the early works of Polyak and Nesterov, inertial methods become very popular, thanks to their acceleration effects. Here, we study a family of Nesterov-type inertial proximalgradient algorithms with a particular over-relaxation sequence. We give a unified presentation about the different convergence properties of this family of algorithms, depending on the over-relaxation parameter. In addition we addressing this issue, in the case of a smooth function with additional geometrical structure, such as the growth (or Łojasiewicz) condition. We show that by combining growth condition and a flatness-type condition on the geometry of the minimizing function, we are able to obtain some new convergence rates. Our analysis follows a continuous-to-discrete trail, passing from continuous-on time-dynamical systems to discrete schemes. In particular the family of inertial algorithms that interest us, can be identified as a finite difference scheme of a differential equation/inclusion. This approach provides a useful guideline, which permits to transpose the different results and their proofs from the continuous system to the discrete one. This opens the way for new possible inertial schemes, derived by the same dynamical system.