Apprentissage automatique pour la segmentation et la classification des défauts du bois

Machine learning for wood defects segmentation and classification

• Auteur / Autrice : Marwa Kechaou
• Direction : Gilles Gasso
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 24/11/2022
• Etablissement(s) : Normandie
• Ecole(s) doctorale(s) : École doctorale mathématiques, information et ingénierie des systèmes (Caen)
• Partenaire(s) de recherche : Établissement de préparation : Institut national des sciences appliquées Rouen Normandie (Saint-Etienne-du-Rouvray ; 1985-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique, de traitement de l'information et des systèmes (Saint-Etienne du Rouvray, Seine-Maritime ; 2006-...)
• Jury : Président / Présidente : Michèle Sebag
• Jury : Examinateurs / Examinatrices : Gilles Gasso, Fabrice Mériaudeau, Céline Hudelot, Romain Hérault, Julien Rabin, Elmokhtar Ezzahdi Alaya
• Jury : Rapporteurs / Rapporteuses : Fabrice Mériaudeau, Céline Hudelot

Mots clés

Mots clés contrôlés

Apprentissage automatique

Automatisation

Bois -- Industrie et commerce

Transport optimal de mesure

Traitement d'images -- Techniques numériques

Classification automatique

Apprentissage profond

Vision par ordinateur

Mots clés libres

Classification

Segmentation sémantique

Adaptation de domaine

Transport optimal

Détection des défauts de bois

Computer Vision

Deep Learning

Classification

Semantic segmentation

Domain adaptation

Optimal transport

Wood defects

Résumé

Cette thèse est une cifre réalisée en collaboration avec Luxscan Technologies, une entreprise leader dans la conception, le développement et l'installation de scanners industriels pour l'automatisation de l'industrie du bois. Les algorithmes dédiés à la détection et à la classification des défauts du bois pour aider à contrôler la qualité du bois impliquent un grand nombre de paramètres. Ils doivent être configurés par un technicien expert afin de garantir de bonnes performances, entraînant ainsi un long processus d'installation. Afin d'automatiser la configuration des scanners pour diverses conditions, nous avons recours aux techniques d'apprentissage profond appliquées à la vision par ordinateur, car elles ont prouvé leurs capacités dans de nombreux domaines d'application. Pour élaborer les architectures d'apprentissage profond, des bases de données de bois annotées par les experts de l'entreprise ont été fournies et contiennent des échantillons multimodaux composés de signaux laser en plus des images RVB. Elles mettent en évidence un déséquilibre extrême entre les défauts, dont certains sont très difficiles à décrire en raison de leur forme ou de leur interférence avec d'autres défauts. Dans cette thèse, nous nous concentrons d'abord sur la classification d'images appliquée aux défauts du bois. Nous étudions des architectures de l'état de l'art et différentes fonctions de perte. Nous apprenons un modèle qui traite des classes fortement déséquilibrées tout en garantissant un faible temps d'inférence pour permettre une classification en temps réel. Le bois provient de plusieurs espèces présentant des caractéristiques différentes, à savoir la liste des défauts et leurs proportions. Cela entraîne un décalage dans les distributions des échantillons de bois qui entrave la généralisation du modèle. Pour pallier cet inconvénient, nous explorons l'adaptation de domaine basée sur le transport optimal pour aligner les distributions déviées. Nous développons une approche qui tient compte des différentes distributions d'étiquettes entre le domaine source et le domaine cible lorsque ce dernier comporte des défauts inconnus. Ensuite, nous explorons la tâche de segmentation sémantique pour effectuer une classification et une détection de bout en bout des défauts du bois. Les annotations disponibles au pixel près attribuent aux défauts hybrides les multiples classes qu'ils représentent. Nous concevons des fonctions de perte appropriées pour fournir des prédictions mono-classe ou multi-classe. De plus, nous concevons de nouvelles stratégies pour traiter deux types de déséquilibre : entre les classes de défauts d'une part, et entre les défauts et le bois sain d'autre part, et nous démontrons la polyvalence de nos approches. Enfin, nous étudions l'adaptation semi-supervisée au domaine, appliquée aux réseaux de segmentation sémantique, où nous supposons un accès partiel aux étiquettes du domaine cible. Nous revisitons les objectifs d'apprentissage des méthodes standard basées sur l'apprentissage antagoniste. Nous attribuons un nouveau rôle aux échantillons cibles étiquetés et concevons un nouveau problème d'optimisation. Nous proposons également une stratégie de sélection non supervisée pour rechercher les échantillons cibles les plus difficiles à adapter et fournir leur annotation afin d'améliorer les résultats de l'adaptation de domaine semi-supervisée pour la tâche de segmentation.

The conducted PhD is a research collaboration carried out with Luxscan Technologies, a leading company in the design, development, and installation of industrial scanners for automation in the timber industry. Algorithms dedicated to the detection and classification of wood defects to help control wood quality involve a large number of parameters. They require an expert technician to set them up to ensure good performance, which leads to a long installation process. To automate the configuration of scanners for various conditions, we resort to deep learning techniques applied to computer vision as they have proven their capability in numerous application domains. To elaborate the deep learning architectures, wood databases annotated by the company's experts were provided and contain multimodal samples composed of laser signals in addition to RGB images. They highlight an extreme imbalance between defects, some of which are very difficult to describe due to their shape or interference with other defects. In this thesis, we first focus on image classification applied to wood defects. We investigate state-of-the-art architectures and different loss functions. We learn a model that deals with highly unbalanced classes while guaranteeing low inference time to enable real-time classification. Wood comes from several species with different characteristics, namely the list of defects and their proportions. This leads to a shift in wood sample distributions that impedes model generalization. To alleviate the drawback, we explore the area of domain adaptation based on optimal transport to align the drifted distributions. We develop an approach that considers different label distributions between the source domain and the target domain where the latter involves unknown defects. Then, we explore the semantic segmentation task to perform an end-to-end classification and detection of wood defects. Available pixelwise annotations assign to hybrid defects the multiple classes they represent. We design appropriate loss functions to provide either mono-class or multi-class predictions. Moreover, we devise novel strategies to address two types of imbalance: between defect classes on the one hand, and between defects and sound wood on the other hand, and we demonstrate the versatility of our approaches. Finally, we study semi-supervised domain adaptation applied to semantic segmentation networks, where we presume partial access to the labels of the target domain. We revisit the learning objectives of standard adversarial learning-based methods. We assign a novel role to labeled target samples and design a new optimization problem. We also propose an unsupervised selection strategy to search for the possibly most difficult target samples to adapt and provide their annotation to improve the results in semi-supervised domain adaptation for segmentation task.