Cartographie sémantique collaborative pour la mise à jour du jumeau numérique d’un environnement intérieur

Collaborative semantic mapping for updating the digital twin of an indoor environment

• Auteur / Autrice : Abdessalem Achour
• Direction : Yohan Dupuis
• Type : Projet de thèse
• Discipline(s) : Informatique (AM)
• Date : Soutenance en 2024
• Etablissement(s) : Paris, HESAM
• Ecole(s) doctorale(s) : École doctorale Sciences des métiers de l'ingénieur
• Partenaire(s) de recherche : Laboratoire : CESI LINEACT - Laboratoire d’Innovation Numérique
• Partenaire(s) de recherche : établissement de préparation de la thèse : Paris, ENSAM
• Jury : Président / Présidente : Pascal Vasseur
• Jury : Examinateurs / Examinatrices : Rémi Boutteau, Panagiotis Papadakis, Cindy Cappelle, Yohan Dupuis, Hiba Al assaad, Madeleine El zaher
• Jury : Rapporteur / Rapporteuse : Rémi Boutteau, Panagiotis Papadakis

Mots clés

Mots clés libres

Cartographie Sémantique

Environnements Intérieurs

Jumeaux Numériques

Connaissances Préalables

Robotique Collaborative

Fusion Tardive

Semantic Mapping

Indoor environments

Digital Twins

Prior knowledge

Collaborative Robotics

Late Fusion

Résumé

Aujourd'hui, la gestion efficace des espaces intérieurs est essentielle pour de multiples aspects, dont la sécurité, l'évacuation et le déploiement de solutions robotiques. La technologie des jumeaux numériques (JN) émerge comme une solution innovante pour cette gestion. Elle établit un lien en temps réel entre l'environnement physique et sa réplique virtuelle, permettant une surveillance, une simulation, une analyse et une amélioration complètes des performances réelles. Cette thèse propose une nouvelle approche de cartographie sémantique, enrichissant le JN avec une carte sémantique intégrant des informations contextuelles sur l'environnement. Premièrement, elle propose un état de l'art des approches de cartographie sémantique, affinant ainsi le positionnement de cette recherche. Deuxièmement, elle introduit une nouvelle méthode de cartographie sémantique utilisant un robot mobile équipé de caméra RGB-D pour acquérir en temps réel des informations sémantiques sur les objets. Cette méthode combine la détection d'objets, la segmentation de scène et un algorithme de géométrie computationnelle pour générer des nuages de points détaillés et définir les zones d'occupation des objets. Les connaissances préalables, telles que les catégories d'objets et les modèles CAD 3D, sont intégrées pour valider les données et estimer les zones d'occupation à l'aide de boîtes englobantes orientées optimales (OBB). Troisièmement, cette recherche propose une approche collaborative pour maintenir à jour la carte sémantique dans le JN. Des robots mobiles autonomes mettent continuellement à jour cette carte en générant des cartes sémantiques individuelles qu'ils communiquent au JN, qui les intègre progressivement dans la carte sémantique existante. La cohérence des données est assurée par une validation contextuelle, tandis que l'actualisation des informations est garantie par une technique de fusion des données basée sur les correspondances spatiales et sémantiques. Les résultats expérimentaux dans divers environnements de bureau montrent que cette méthode améliore significativement les estimations des zones d'occupation des objets, gère efficacement les changements tels que l'ajout, le déplacement et la suppression d'objets dans les environnements intérieurs, et met en évidence les avantages de l'intégration des connaissances préalables de l'environnement.

Today, efficient management of indoor spaces is essential for multiple aspects, including security, evacuation, and the deployment of robotic solutions. The digital twin (DT) technology is emerging as a cutting-edge solution for this purpose. It creates a real-time link between the physical environment and its virtual replica, enabling comprehensive monitoring, simulation, analysis, and enhancement of real-world performance. This thesis presents a novel approach to semantic mapping, enhancing the DT with a semantic map that incorporates contextual information about the environment. Firstly, it reviews state-of-the-art semantic mapping approaches. Secondly, it introduces a new method of semantic mapping using a mobile robot equipped with an RGB-D camera to acquire real-time semantic information about objects. This method integrates object detection, scene segmentation, and a computational geometry algorithm to generate detailed point clouds and define object occupancy zones. Prior knowledge (PK), such as object categories and 3D CAD models, is incorporated to validate data and estimate occupancy zones using optimal bounding boxes (OBB). Thirdly, this research proposes a collaborative approach to maintain the semantic map in the DT. Autonomous mobile robots continuously update this map by generating individual semantic maps that are communicated to the DT, gradually integrating them into the existing semantic map. Data consistency is ensured through contextual validation, while information updating is guaranteed by a data fusion technique based on spatial and semantic correspondences. Experimental results in various office environments demonstrate significant improvements in object occupancy estimates, effective management of changes such as object addition, movement, and removal within indoor environments, and highlight the benefits of integrating PK.