Représentation parcimonieuse basée sur la norme ℓ₀

ℓ₀ based sparse representation

• Auteur / Autrice : Yuan Liu
• Direction : Paul Honeine, Stéphane Canu
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 25/11/2019
• Etablissement(s) : Normandie
• Ecole(s) doctorale(s) : École doctorale mathématiques, information et ingénierie des systèmes (Caen)
• Partenaire(s) de recherche : établissement de préparation : Institut national des sciences appliquées Rouen Normandie (Saint-Etienne-du-Rouvray ; 1985-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique, de traitement de l'information et des systèmes (Saint-Etienne du Rouvray, Seine-Maritime ; 2006-...)
• Jury : Président / Présidente : Ahlame Douzal-Chouakria
• Jury : Examinateurs / Examinatrices : Paul Honeine, Marcel Mongeau, David Brie, Su Ruan
• Jury : Rapporteurs / Rapporteuses : Marcel Mongeau, David Brie

Mots clés

Mots clés contrôlés

Lagrange, Fonctions de

Optimisation globale

Algorithmes gloutons

Apprentissage automatique

Programmation quadratique

Représentation parcimonieuse

Mots clés libres

Apprentissage de dictionnaire

Codage parcimonieux

Apprentissage de dictionnaire à faible cohérence

Lagrangien augmenté

PALM

Sparse representation

Sparse coding

Dictionary learning

MIQP

Incoherent dictionary learning

Augmented Lagrangian method

PALM

Résumé

Cette monographie traite du problème d’apprentissage de dictionnaire parcimonieux associé à la pseudo-norme ℓ₀. Ce problème est classiquement traité par une procédure de relaxation alternée itérative en deux phases : un codage parcimonieux (sparse coding) et une réactualisation du dictionnaire. Cependant, le problème d’optimisation associé à ce codage parcimonieux s’avère être non convexe et NP-difficile, ce qui a justifié la recherche de relaxations et d’algorithmes gloutons pour obtenir une bonne approximation de la solution globale du problème. A l’inverse, nous reformulons le problème comme un programme quadratique mixte en nombres entiers (MIQP) permettant d’obtenir l’optimum global du problème. La principale difficulté de cette approche étant le temps de calcul, nous proposons deux méthodes (la relaxation par l’ajout de contraintes complémentaires et l’initialisation par la méthode du gradient proximal) permettant de le réduire. Cet algorithme est baptisé MIQP accéléré (AcMIQP). L’application de AcMIQP à un problème de débruitage d’images démontre sa faisabilité et ses bonnes performances. Nous proposons ensuite d’améliorer cet algorithme en y intégrant des contraintes visant à promouvoir l’indépendance des atomes du dictionnaire sélectionné. Pour traiter ce problème à l’aide de AcMIQP, la phase de réactualisation du dictionnaire sous contraintes est adaptée en combinant la méthode du lagrangien augmenté (ADMM) et la méthode Extended Proximal Alternating Linearized Minimization (EPALM). L’efficacité de cette approche AcMIQP+EPALM est démontrée sur un problème de reconstruction d’image.

In this monograph, we study the exact ℓ₀ based sparse representation problem. For the classical dictionary learning problem, the solution is obtained by iteratively processing two steps: sparse coding and dictionary updating. However, even the problem associated with sparse coding is non-convex and NP-hard. The method for solving this is to reformulate the problem as mixed integer quadratic programming (MIQP). Then by introducing two optimization techniques, initialization by proximal method and relaxation with augmented contraints, the algorithmis greatly speed up (which is thus called AcMIQP) and applied in image denoising, which shows the good performance. Moreover, the classical problem is extended to learn an incoherent dictionary. For dealing with this problem, AcMIQP or proximal method is used for sparse coding. As for dictionary updating, augmented Lagrangian method (ADMM) and extended proximal alternating linearized minimizing method are combined. This exact ℓ₀ based incoherent dictionary learning is applied in image recovery, which illustrates the improved performance with a lower coherence.