Détection et communications multimodales conjointes

Joint Multi-Modal Sensing and Communications

• Auteur / Autrice : Jichao Chen
• Direction : Dirk Slock
• Type : Projet de thèse
• Discipline(s) : Sciences et technologies de l'information et de la communication
• Date : Inscription en doctorat le 01/03/2024
• Etablissement(s) : Sorbonne université
• Ecole(s) doctorale(s) : École doctorale Informatique, télécommunications et électronique de Paris
• Partenaire(s) de recherche : Laboratoire : Institut EURECOM
• Partenaire(s) de recherche : Equipe de recherche : Systèmes de Communication

Mots clés

Mots clés libres

Détection et communications intégrées

Multimodal

Vision par ordinateur

Slam

Ris

Integrated sensing and communications

Multi-modal

Computer vision

Slam

Ris

Résumé

Cette thèse contribuera au projet européen H2030 CONVERGE intitulé « Outils de convergence des télécommunications et de la vision par ordinateur pour les infrastructures de recherche ». Les télécommunications et la vision par ordinateur sont devenues des domaines scientifiques distincts. Cela devrait changer avec l'avènement des communications sans fil fonctionnant dans les fréquences radio (RF) à ondes millimétriques et de lumière visible, caractérisées par des plages de fonctionnement en visibilité directe, qui pourraient bénéficier de données visuelles pour prédire avec précision la dynamique des canaux sans fil telles que l'avenir de la puissance reçue et des blocages, ainsi que la construction de cartes 3D haute définition pour le positionnement. D'un autre côté, les applications de vision par ordinateur deviendront plus résistantes à l'occlusion et à la faible luminosité si elles sont aidées par l'imagerie RF, comme les signaux radio haute fréquence générés par la 6G, qui peuvent fournir une détection haute résolution capable de suivre des objets derrière des murs ou des tissus corporels. La convergence entre les communications sans fil, la vision par ordinateur et l'apprentissage automatique permet des applications allant de la 6G à la conduite autonome, sous la devise « voir pour communiquer et communiquer pour voir ». Ce nouveau domaine de recherche commun émergent s'appuie sur une gamme de technologies dans les domaines des communications sans fil, de la vision par ordinateur, de la détection, de l'informatique et de l'apprentissage automatique, et s'aligne parfaitement sur la tendance de recherche récente appelée Joint Communications and Sensing (JCAS), mais étend cela substantiellement. La détection et les communications intégrées (ISAC), spécialement couplées à des surfaces intelligentes reconfigurables (RIS), se sont imposées comme une tendance clé vers la 6G, complétée ici par une opportunité supplémentaire peu explorée jusqu'à présent, l'emploi de solutions de vision par ordinateur. Cela ouvre la possibilité d'exploiter les données de vision par ordinateur pour prédire la dynamique des canaux sans fil et aider à créer des cartes 3D haute définition pour les applications de localisation et de détection tandis que, d'un autre côté, la détection/imagerie radio a le potentiel de permettre aux applications de vision par ordinateur de devenir plus résistant à l'occlusion et à une faible luminosité. Dans ce contexte, cette thèse vise à développer des surfaces intelligentes reconfigurables assistées par la vision permettant l'expérimentation de communications sans fil massives MIMO et de localisation/détection d'environnement 3D, ainsi que des stations de base 5G fixes et mobiles assistées par la vision permettant les communications et l'expérimentation avec des terminaux mobiles.

This thesis will contribute to the European H2030 project CONVERGE which is entitled «Telecommunications and Computer Vision Convergence Tools for Research Infrastructures». Telecommunications and computer vision have evolved as separate scientific areas. This is envisioned to change with the advent of wireless communications operating in the mmWave and visible light radio frequencies (RF), characterized by line-of-sight operating ranges, which could benefit from visual data to accurately predict the wireless channel dynamics such as future received power and blockages, as well as constructing high-definition 3D maps for positioning. On the other hand, computer vision applications will become more robust against occlusion and low luminosity if helped by RF imaging, such as the high frequency radio signals generated by 6G that can provide high-resolution sensing capable of tracking objects behind walls or body tissues. The convergence between wireless communications, computer vision, and machine learning enable applications ranging from 6G to autonomous driving, under to motto ”view-to-communicate and communicate-to-view”. This new and emerging joint research field relies on a range of technologies in the fields of wireless communications, computer vision, sensing, computing, and machine learning, and is perfectly aligned with the recent research trend called Joint Communications and Sensing (JCAS) but expands it substantially. Integrated sensing and communications (ISAC) specially coupled with reconfigurable intelligent surfaces (RIS) has established itself as key trend towards 6G, here augmented with an additional opportunity which has been little explored so far, the employment of computer vision solutions. This opens the possibility of leveraging on computer vision data to predict wireless channel dynamics and help build high-definition 3D maps for localisation and sensing applications while, on the other hand, radio-based sensing/imaging has the potential to empower computer vision applications becoming more resilient against occlusion and poor luminosity. Within this context, this thesis aims to develop vision-aided reconfigurable intelligent surfaces enabling experimentation of massive MIMO wireless communications and 3D localisation/environment sensing, and vision-aided fixed and mobile 5G base stations enabling communications and experimentation with mobile terminals.