Théorie du codage et de l'information pour l'intelligence artificielle

Coding and Information Theory for Artificial Intelligence

• Auteur / Autrice : Xiaolin Wang
• Direction : Olivier Rioul, Joseph Boutros
• Type : Projet de thèse
• Discipline(s) : Information, communications, électronique
• Date : Inscription en doctorat le 01/09/2022
• Etablissement(s) : Institut polytechnique de Paris
• Ecole(s) doctorale(s) : École doctorale de l'Institut polytechnique de Paris
• Partenaire(s) de recherche : Laboratoire : Laboratoire de Traitement et Communication de l'Information
• Partenaire(s) de recherche : Equipe de recherche : ComNum : Communications Numériques

Mots clés

Mots clés libres

Codes correcteurs d'erreurs sur les nombres réels

Goulet d'étranglement informationnel

Intelligence artificielle

Error-Correcting Codes over Real Numbers

Information Bottleneck

Machine Learning

Résumé

Nous apportons la théorie du codage et la théorie de l'information à l'apprentissage automatique de manière innovante. L'apprentissage en profondeur dans les communautés des réseaux et des communications est apparu au cours des cinq dernières années pour concevoir des émetteurs et des récepteurs numériques pour les réseaux sans fil et optiques. Dans notre projet proposé, dans la direction opposée, nous apportons la théorie du codage à l'apprentissage en profondeur en étudiant l'application de codes correcteurs d'erreurs définis sur des alphabets réels. De tels codes analogiques ont un grand potentiel dans le traitement des données dans le cadre de l'apprentissage en profondeur pour reconstruire les données, nettoyer les erreurs en rafale ou sécuriser l'informatique distribuée. En conjonction avec la théorie du codage, nous utiliserons la théorie de l'information et le principe du goulot d'étranglement pour analyser les réseaux de neurones et viser à briser la malédiction dimensionnelle rencontrée dans de nombreux algorithmes de communications numériques actuels mis en œuvre via des réseaux de neurones profonds. Ainsi, ce travail de thèse est une belle collaboration entre des concepts forts issus de la théorie du codage de l'information et de la théorie de l'apprentissage.

We bring coding theory and information theory to machine learning in an innovative way. Deep learning in the networking and the communications communities appeared in the past five years to design digital transmitters and digital receivers for wireless and optical networks. In our proposed project, in the opposite direction, we bring coding theory to deep learning by studying the application of error-correcting codes defined over real alphabets. Such analog codes have a great potential in data processing within deep learning to reconstruct data, clean burst errors, or secure distributed computing. In conjunction to coding theory, we will use information theory and the bottleneck principle to analyze neural networks and aim at breaking the dimension curse encountered in many current digital communications algorithms implemented via deep neural networks. Hence, this PhD work is a beautiful collaboration between strong concepts from the theory of coding information and the theory of learning.