Mesure automatique de l'avancement d'un chantier de construction intérieur à l'aide de la réalité mixte

Automated indoor construction progress monitoring supported by mixed reality

• Auteur / Autrice : Mathis Baubriaud
• Direction : Stéphane Derrode, René Chalon
• Type : Thèse de doctorat
• Discipline(s) : Informatique et applications
• Date : Soutenance le 28/03/2025
• Etablissement(s) : Ecully, Ecole centrale de Lyon
• Ecole(s) doctorale(s) : École doctorale Électronique, électrotechnique, automatique (Lyon)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'InfoRmatique en Images et Systèmes d'information (Ecully, Rhône ; 2003-....)
• Jury : Président / Présidente : René Chalon
• Jury : Examinateurs / Examinatrices : Stéphane Derrode, René Chalon
• Jury : Rapporteurs / Rapporteuses : Myriam Servières, Ivanka Iordanova

Mots clés

Mots clés contrôlés

Construction

Réalité augmentée

Mots clés libres

Modélisation de l'information sur les bâtiments (BIM)

Réalité augmentée

Vision par ordinateur

Inspection

Suivi d'avancement

Construction intérieure

Building Information Modeling

Computer Vision

Augmented Reality

Deep Learning

Progress Monitoring

Indoor Construction

Résumé

L'inspection automatique de chantier de construction dans le bâtiment est une problématique ardue, mais aux bénéfices importants pour les constructeurs. Le travail présenté dans cette thèse porte sur le développement et l'évaluation d'une solution de Réalité Augmentée (RA) pour le suivi automatisé de l'avancement des travaux de construction intérieurs. Face aux limites des méthodes d'inspection manuelles, chronophages et sujettes à erreurs, ce travail présente une approche novatrice exploitant la superposition du modèle BIM (Building Information Modeling) à l'environnement réel via un casque de RA. L'objectif principal est la détection et l'identification automatiques des équipements du génie climatique et électrique, dont la forme hétéroclite pose des problèmes significatifs. En vue d'une analyse complète, deux méthodes complémentaires sont étudiées : l'une, géométrique, s'appuie sur un algorithme de lancer de rayons et la reconstruction 3D de nuages de points acquis par des capteurs de profondeur ; l'autre, basée sur l'analyse d'images 2D, utilise un réseau de neurones profonds. Pour pallier le manque de données réelles d'entraînement, un processus automatisé de génération de données synthétiques à partir de modèles BIM est proposé et évalué. Les expérimentations menées sur des chantiers de construction réels démontrent le potentiel de l'approche pour une inspection plus efficace et fiable, et justifient sa plus-value dans les pratiques actuelles des équipes de chantier.

Automated inspection of construction sites presents a significant opportunity to improve efficiency and accuracy in the building industry. This thesis addresses the challenges of interior construction progress monitoring by developing and evaluating an innovative augmented reality (AR) solution. Leveraging the superimposition of Building Information Modeling (BIM) data onto real environments through an AR headset, the proposed system aims to detect and identify HVAC and electrical components automatically. These elements, with their heterogeneous shapes, present unique challenges for computer vision. For a complete analysis, two complementary methods are presented: one, geometric, relies on a ray-tracing algorithm and 3D reconstruction of point clouds acquired by depth sensors; the other, based on 2D image analysis, uses a deep neural network. A critical barrier in applying deep learning to this domain is the scarcity of large, annotated datasets for training. To address this, the study introduces an automated process to generate photorealistic synthetic datasets from BIM models using a graphics engine. These datasets enable the training of a state-of-the-art instance segmentation network, enhanced by transfer learning methods. Experiments conducted on real construction sites demonstrate the system's potential for more efficient and reliable progress monitoring. The integration of synthetic data generation, deep learning, and AR showcases the added value of this approach, advancing current practices in indoor construction progress monitoring and highlighting its feasibility for real-world application.