Méthodes de vision par ordinateur pour la surveillance de processus d'impression de béton 3D

Computer vision methods for 3d concrete printing process monitoring

• Auteur / Autrice : Rodrigo RILL GARCíA
• Direction : Eva Dokladalova, Petr Dokladal
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 13/12/2022
• Etablissement(s) : Marne-la-vallée, ENPC
• Ecole(s) doctorale(s) : École doctorale Mathématiques, Sciences et Technologies de l'Information et de la Communication (Champs-sur-Marne, Seine-et-Marne ; 2010-....)
• Partenaire(s) de recherche : Equipe de recherche : A3SI - Algorithme, Architecture, Analyse et Synthèse d'Image
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique de l'Institut Gaspard Monge (1997-2009)
• Jury : Président / Présidente : Thierry Géraud
• Jury : Examinateurs / Examinatrices : Eva Dokladalova, Petr Dokladal, Sylvie Le Hégarat, Dominique Ginhac, Jean-François Caron
• Jury : Rapporteurs / Rapporteuses : Sylvie Le Hégarat, Dominique Ginhac

Mots clés

Mots clés contrôlés

Qualité -- Contrôle

Apprentissage automatique

Vision par ordinateur

Surveillance

Impression 3D

Béton

Mots clés libres

Vision par ordinateur

Impression 3d de béton

Segmentation faiblement supervisée

Classement des textures

Détection d'anomalies

Computer vision

3d concrete printing

Weakly supervised segmentation

Texture classification

Anomaly detection

Résumé

La construction basée sur l'impression 3D de béton est devenue une technologie attractive, infusant la technologie numérique au secteur. Vers cette numérisation, nous proposons des méthodes basées sur la vision par ordinateur pour la surveillance des constructions construites à l'aide du contour crafting (une méthode d'impression 3D du béton). Nos méthodes peuvent être divisées en deux types: détection des défauts et contrôle qualité.Pour la détection des défauts, nous travaillons sur la segmentation des fissures. Étant donné que les fissures sont difficiles à annoter avec précision, une segmentation précise est difficile en utilisant l'apprentissage automatique supervisé. Avec une méthode inspirée de la classification faiblement supervisée, nous avons amélioré l'exactitude de la largeur des fissures prédites dans des données synthétiques: la précision augmente jusqu'à 26% par rapport à l'apprentissage avec des annotations brutes imprécises; cette méthode est applicable directement à des données réelles. Avec une méthode basée sur l'apprentissage par transfert, nous montrons que des modèles entraînés uniquement sur nos images synthétiques sont capables de segmenter des fissures dans des images réelles. Dans les deux cas, l'exactitude de la largeur des fissures prédites s'améliore lorsqu'elle est mesurée avec des mesures non supervisées.Pour le contrôle qualité, nous travaillons sur la détection d'anomalies en ligne dans les pièces imprimées en 3D. D'abord, nous segmentons les lignes intercouches dans les images acquises lors de l'impression (F-mesure = 91%). Nous analysons ces lignes en mesurant des propriétés géométriques au niveau du pixel; nous définissons comme anomalies les régions avec des valeurs en dehors des intervalles de valeurs admissibles par l'utilisateur. Nous classons également les couches localisées en fonction de leur texture: soit comme bonne, soit comme un de 3 cas défectueux (F-mesure macro-moyenne = 94%).

Construction based on 3D concrete printing has become an attractive technology, infusing digital technology to the sector. Towards this digitalization, we propose methods based on computer vision for the monitoring of constructions built using contour crafting (a 3D concrete printing method). Our methods can be divided into two types: damage and quality monitoring.For damage monitoring, we work on crack segmentation. Given that cracks are difficult to annotate accurately, an accurate segmentation is difficult using supervised machine learning. With a method inspired by weakly supervised classification, we improved the accuracy of the predicted cracks' width in synthetic data: the precision increases up to 26% with respect to training with raw inaccurate annotations; this method applies to real data straightforwardly. With a method based on transfer learning, we show that models trained solely on our synthetic images are able to segment cracks in real images. In both cases, the predicted crack width accuracy improves when measured with unsupervised metrics.For quality monitoring, we work on inline anomaly detection in 3D printed pieces. First, we segment the interlayer lines in images acquired during printing (F-score = 91%). We analyze these lines by measuring geometrical properties at pixel level; we define as anomalies the regions with values outside the ranges of user-admissible values. We also classify the located layers based on their texture: either as good or as one of 3 defective cases (macro-averaged F-score = 94%).