Mise en œuvre d’approches adaptatives et temps réel pour systèmes autonomes destinés à l’application de l’industrie 4.0 chez FAURECIA CLEAN MOBILITY

Implementation of real-time autonomous application for Industry 4.0 applications at FAURECIA CLEAN MOBILITY

• Auteur / Autrice : Theodor Al saify
• Direction : Jaafar Gaber, Benoît Piranda
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 05/04/2022
• Etablissement(s) : Bourgogne Franche-Comté
• Ecole(s) doctorale(s) : École doctorale Sciences pour l'ingénieur et microtechniques (Besançon ; 1991-....)
• Partenaire(s) de recherche : Laboratoire : FEMTO-ST : Franche-Comté Electronique Mécanique Thermique et Optique - Sciences et Technologies (Besançon)
• Partenaire(s) de recherche : Etablissement de préparation : Université de technologie de Belfort-Montbéliard (1999-....)
• Jury : Président / Présidente : Julien Bourgeois
• Jury : Examinateurs / Examinatrices : Jaafar Gaber, Benoît Piranda, Pascal Lorenz, Ahmed Nait-Sidi-Moh, Rachid Outbib
• Jury : Rapporteur / Rapporteuse : Pascal Lorenz, Ahmed Nait-Sidi-Moh

Mots clés

Mots clés contrôlés

Apprentissage profond

Traitement d'images -- Techniques numériques

Internet des objets

Industrie 4.0

Mots clés libres

Industrie 4.0

IoT (objets connectés)

Robotique

Deep Learning

Smart Industrie

Traitement d’images

Image Processing

IoT (Intrernet of Things)

Industry 4.0

Deep Learning

Robotics

Smart Industry

Résumé

Dans le cadre de la quatrième révolution industrielle, l'imbrication du monde réel et du monde numérique prend forme de différentes manières, par le biais de l'intelligence artificielle, du traitement des images et de la robotique. Dans le cadre d'un processus industriel de soudage, des robots automatisés reçoivent l'ordre d'assembler des pièces métalliques. Cependant, ces robots considèrent que toutes les pièces seront alignées dans une position fixe, un léger décalage fera que le robot manquera le bord et que le processus devra être repris manuellement par un spécialiste humain.Les usines de Faurecia fonctionnent désormais dans un environnement de plus en plus riche en capteurs, qui crée de grandes quantités de données potentiellement utiles. La capacité globale de collecte, d'analyse et de traitement de ces données ouvre de nouvelles possibilités pour comprendre la cause profonde des retouches effectuées sur leurs pièces pendant le processus de soudage.L'objectif global de cette thèse est de proposer des solutions qui utilisent efficacement les cellules de soudage existantes pour installer un système de vision avec l'aide de l'intelligence artificielle afin de détecter, d'anticiper et de prévenir les soudures mal positionnées. Tous les tests sont effectués en laboratoire avant d'être installés dans les usines.La première approche consiste à utiliser les techniques traditionnelles de traitement d'image qui sont utilisées pour la détection des bords, comme le détecteur de bords de Canny et le détecteur de lignes de Hough.Avant d'utiliser ces techniques, l'image doit être prétraitée pour assurer un traitement rapide.La seconde approche consiste à utiliser des méthodes de classification par apprentissage profond pour détecter la présence ou l'absence d'un bord dans la zone d'intérêt. Une nouvelle technique d'analyse a été développée en appliquant le modèle DL sur trois zones superposées.Dans la troisième approche, la zone d'intérêt est transformée en un signal et la technique de transition de couleur des pixels est appliquée pour détecter la position du bord de soudure.Le système à l'intérieur des cellules de soudage est composé d'un mini ordinateur personnel (HP 600 MT), d'une à quatre caméras 2D. Chaque caméra a une résolution de 18 mégapixels et est installée à une distance qui varie entre 300 et 1500 mm de la pièce. Elles sont également installées de manière à ne pas avoir d'impact sur la trajectoire du robot. Le système est connecté au réseau Faurecia et on peut y accéder à distance pour le configurer et le déboguer en cas d'erreur.Trois installations ont été réalisées, aux Etats-Unis d'Amérique, aux Pays-Bas, et en France. Chaque cas d'utilisation concerne un processus de soudage spécial, un joint court, un joint long et un joint circulaire, et l'objectif étant de réduire le taux de reprise dû à un mauvais positionnement.Nous avons réussi à atteindre cet objectif et à déposer un brevet pour la deuxième approche utilisée. Toujours dans l'usine de Beaulieu, un prix de reconnaissance a été décerné à ces travaux.

Within the fourth industrial revolution, the interweaving of the real world and the digital world is taking shape in different ways, through artificial intelligence, image processing, and robotics. As part of a welding industrial process, automated robots are instructed to join metal parts. However, these robots consider that all workpieces will be lined up in a fixed position, a slight mislocation will result in the robot missing the edge and the process to be reworked manually by a human specialist. This process is cost-effective and may cause significant delays.Faurecia plants are now operating in an ever-increasing sensor-rich environment that is creating vast amounts of potentially useful data. The comprehensive ability to collect, analyze and process this data is opening new possibilities for understanding the root cause of rework that is done on their parts during the welding process. This dissertation's global objective is to propose solutions that effectively use the existing welding cells to install a vision system with the help of artificial intelligence to detect, anticipate and prevent mislocated welds. To achieve this objective three approaches using deep learning and image processing were developed and tested. All the tests are done in the lab before installing them in the plants.The first approach consists of using traditional image processing techniques that are used for edge detection such as Canny edge and hough line detector.Before using those techniques the image should be pre-processed to ensure a fast treatment.The second approach consists of using deep learning classification methods to detect the presence or absence of the edge in the area of interest. A new technique of analysis was developed by applying the DL model on three overlapped zones.In the third approach, the area of interest is transformed into a signal and a pixel color transition technique is applied to detect the position of the welding edge.The system that will be installed inside the welding cells is composed of a mini personal computer (HP 600 MT), one to four 2D cameras. Each camera has a resolution of 18 Megapixels that are installed at a distance that varies between 300 to 1500 mm from the part. Also, they are installed in a way that they don't impact the robot trajectory. The system is connected to the Faurecia network and can be accessed remotely to set up and debug in case of error.Three installations were done, in the United States of America, France, and the Netherlands. Each use case has a special product with a special welding process, short seam, long seam, and circular seam and the objective was to reduce the rework rate due to mislocation to half.We succeeded to achieve this objective and deposit a patent for the second approach used. Also in the Beaulieu plant we earned an award of recognition from top management