Algorithme de branch-and-bound pour la résolution efficace de problèmes d’optimisation parcimonieuse

Branch-and-bound algorithm for efficient resolution of sparse optimization problems

• Auteur / Autrice : Gwenaël Samain
• Direction : Sébastien Bourguignon, Jordan Ninin
• Type : Thèse de doctorat
• Discipline(s) : Signal, Image, Vision
• Date : Soutenance le 08/02/2024
• Etablissement(s) : Ecole centrale de Nantes
• Ecole(s) doctorale(s) : Sciences de l'ingénierie et des systèmes (Centrale Nantes)
• Partenaire(s) de recherche : Laboratoire : Laboratoire des Sciences du Numérique de Nantes
• Jury : Président / Présidente : Xavier Gandibleux
• Jury : Examinateurs / Examinatrices : Joseph Salmon, Emmanuel Soubies
• Jury : Rapporteurs / Rapporteuses : Nelly Pustelnik, Charles Soussen

Mots clés

Mots clés contrôlés

Algorithmes

Représentation parcimonieuse

Traitement du signal

Mots clés libres

Branch-and-bound

L0

Optimisation combinatoire

Optimisation continue

Branch-and-bound

L0

Combinatorial optimization

Continuous optimization

Résumé

De nombreux problèmes inverses en traitement du signal, statistique, imagerie biomédicale, astronomie et apprentissage machinepeuvent se formuler comme la recherche de la meilleure combinaison de motifs expliquant les données, ces motifs étant choisis dans un catalogue connu. L’aspect parcimonieux du problème réside dans le faible nombre de motifs que l’on cherche à sélectionner via l’utilisation d’un terme `0. Plusieurs méthodes standards, telles que des algorithmes gloutons (OMP, OLS) et des reformulations convexes du problème (notamment en norme `1), permettent d’obtenir des solutions approchées de ce problème `0. Plus récemment, des méthodes permettant de résoudre exactement le problème `0 ont été développées, reposant sur des algorithmes de branch-and-bound. L’objectif de cette thèse est double. D’une part, explorer les possibilités d’accélérations des algorithmes branch-and-bound `0. D’autre part, étendre ces méthodes à des cas de parcimonie structurée, où l’on ne cherche plus simplement un faible nombre de motifs, mais un faible nombre de groupes demotifs. Ces contributions font l’objet d’un code open-source proposé au plus grand nombre.

Numerous inverse problems in signal processing, statistics, biomedical imaging, astronomy and machine learning can be cast asthe search for the best pattern combination fitting measurements, these patterns being taken from a known dictionary. The sparsity of the problem comes from the small number of patterns desired, using a `0 term. Several standard methods, among which greedy algorithms (OMP, OLS) and convex reformulations (most notably the `1-norm reformulation), provide approximate solutions to this `0problem. More recently, methods able to solve exactly the `0 problem were designed, using branchand- bound algorithms. This PhD thesis has two goals. First, explore possible accelerations of current branch-and-bound algorithms dedicated to the `0 problem. Then, extend these branch-and-bound algorithms to the case of structured sparsity, where we are not looking for a small number of patterns fitting data, but a small number of groups of patterns fitting data. These contributions lead to the development of an open-source code publicly released.