Études des atouts et des limitations des méthodes d'apprentissage par renforcement pour le décodage de codes polaires

Studying the strengths and limitations of reinforcement learning methodsfor polar codes decoding

• Auteur / Autrice : Afaf Alaoui mrani
• Direction : Christophe Jego
• Type : Projet de thèse
• Discipline(s) : Automatique, Productique, Signal et Image, Ingénierie cognitique
• Date : Inscription en doctorat le 19/10/2022
• Etablissement(s) : Bordeaux
• Ecole(s) doctorale(s) : École doctorale des sciences physiques et de l’ingénieur (Talence, Gironde ; 1995-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire de l'Intégration du Matériau au Système
• Partenaire(s) de recherche : Equipe de recherche : Circuits et Systèmes Numériques (CSN)

Mots clés

Mots clés libres

Codes correcteurs d'erreurs

Codes polaires

Apprentissage par renforcement

Décodage par annulation successive

Error correction codes

Polar codes

Reinforcement learning

Successive-Cancellation decoding

Résumé

L'objectif principal de la thèse est d'étudier les atouts et les limitations des méthodes d'apprentissage par renforcement de l'algorithme de décodage par liste d'annulations successives avec ou sans un code concaténé de type CRC. Une première approche que nous proposons d'étudier consiste en la décomposition d'un processus de décodage complexe en une série de décodages. En effet, comme les codes polaires présentent une structure algébrique très régulière, il est possible de partitionner un code polaire de manière à ce que chaque sous-bloc puisse être décodé indépendamment. Ainsi, chaque sous-bloc peut être couplé à d'autres sous-blocs via des étages polaires. De cette façon, l'évolutivité des méthodes d'apprentissage par renforcement pour le décodage par liste peut être réalisée avec des sous-composants d'un décodeur d'annulation successive renforcé. Une deuxième approche consisterait à étudier l'ajustement dynamique d'une liste pendant un processus de décodage. En effet, l'un des principaux inconvénients du décodage par liste est la complexité de la taille de la liste qui comprend les mots de code candidats à traiter. Certaines techniques d'élagage sont nécessaires pour contrôler la profondeur de la liste. Ainsi, une méthode d'apprentissage par renforcement devrait être capable de conserver ou de supprimer certains candidats ou ensemble de candidats lors de chaque étape de décodage. De même, une étude sur la simplification des étapes de mise à jour et de tri des métriques de l'algorithme de décodage SCL a déjà été menée. Elle repose sur le constat qu'une partie significative de bits très fiables sont présents à la fin du processus de décodage. L'algorithme de décodage résultant appelé Tailored CRC-Aided Successive Cancellation List (T-CA-SCL) est une version simplifiée d'un décodage SCL. Il nous semble pertinent d'étudier comment un apprentissage par renforcement peut permettre de revisiter cet algorithme. Enfin, l'amélioration du décodage consiste à envisager une approche de décodage non binaire des codes binaires en considérant une représentation graphique non binaire des codes sous-jacents. Cette représentation s'est révélée efficace pour des codes courts. Elle permet de considérer un cadre commun pour le décodage de différentes familles de codes correcteurs d'erreurs. Ainsi, un axe de recherche possible serait de considérer un décodage neuronal non binaires qui a été très peu traité jusqu'à présent, combiné avec certaines modifications et/ou représentations de graphes appris.

The objective of the thesis is studying the strengths and limitations of reinforcement learning methods for Successive-Cancellation-List decoding algorithm with or without a concatenated CRC code. A first approach consists in decomposing a complex decoding process into a series of decodings. In fact, given that polar codes have a very regular algebric structure, it is possible to partition a polar code so that each sub-block can be decoded independently. By this method, the scalability of reinforcement learning methods for list decoding can be achieved with subcomponents of a reinforced successive cancellation decoder. A second approach consists in studying the dynamic adjustment of a list during a decoding process. Indeed, one of the main disadvantages of list decoding is the size of the list which includes the candidate code words to be processed. Thus, some techniques are necessary to control this size. A reinforcement learning method should be able to retain or drop some candidates or set of candidates during each decoding step. Similarly, a study on simplifying the steps of updating and sorting the metrics of the SCL decoding algorithm has already been carried out. It is based on the observation that a significant part of very reliable bits are present at the end of the decoding process. The resulting decoding algorithm called Tailored CRC-Aided Successive Cancellation List (T-CA-SCL) is a simplified version of an SCL decoding. It seems relevant to us to study how reinforcement learning can make it possible to revisit this algorithm. Finally, the improvement of the decoding consists in considering a non-binary decoding approach of the binary codes by considering a non-binary graphical representation of the underlying codes. This representation has been proven effective for short codes. It makes it possible to consider a common framework for decoding the different families of error-correcting codes. Thus, a possible line of research would be to consider a non-binary neural decoding which has been very little treated so far, combined with certain modifications and/or representations of learned graphs.