Cοntributiοn à la manipulatiοn de cοlis sοus cοntraintes par un tοrse humanοïde : applicatiοn à la dépaléttisatiοn autοnοme dans les entrepôts lοgistiques

Enhancing Logistics Automation with AI : Application of Dual-arm Humanoid Torso for Al-powered Depalletizingand Package Handling.

• Auteur / Autrice : Santheep Yesudasu
• Direction : Jean-François Brethé
• Type : Thèse de doctorat
• Discipline(s) : Automatique, signal, productique, robotique
• Date : Soutenance le 25/10/2024
• Etablissement(s) : Normandie
• Ecole(s) doctorale(s) : École doctorale physique, sciences de l’ingénieur, matériaux, énergie (Saint-Etienne du Rouvray, Seine Maritime)
• Partenaire(s) de recherche : Laboratoire : Groupe de Recherche en Electrotechnique et Automatique du Havre (Le Havre, Seine-Maritime ; 1999-....)
• Partenaire(s) de recherche : Établissement co-accrédité : Université du Havre (1984-....)
• Jury : Président / Présidente : Pierre Blazevic
• Jury : Examinateurs / Examinatrices : Jean-François Brethé, Rochdi Merzouki, Wafae Sebbata, Deise Santana Maia, Patrick Bonnin
• Jury : Rapporteurs / Rapporteuses : Pierre Blazevic, Rochdi Merzouki

Mots clés

Mots clés contrôlés

Automatisation

Vision par ordinateur

Préhenseurs (ingénierie)

Palettes (manutention)

Intelligence artificielle

Robotique

Mots clés libres

Dépalettisation

Apprentissage profond

YOLOv3

YOLOv8

Estimation de pose

Système URNik-AI

Robot à double bras

Torse humanoïde

Capteurs de force/torque

Caméra RGB-D

Algorithmes adaptatifs

Manipulation industrielle

Nuage de points

Palettisation

Traitement en temps réel

Automatisation industrielle

Stratégies de préhension

Planification de mouvement

Robotics

Artificial intelligence

Depalletizing

Computer vision

Deep learning

YOLOv3

YOLOv8

Pose estimation

URNik-AI system

Dual-Arm robot

Humanoid torso

Force/torque sensors

RGB-D camera

Adaptive algorithms

Industrial manipulation

Point cloud

Palletizing

Real-Time processing

Industrial automation

Grasping strategies

Motion planning

Résumé

Cette thèse de doctorat explore le développement et l'implémentation d'URNik-AI, un système de dépalettisation automatisé basé sur l'intelligence artificielle (IA), conçu pour manipuler des boîtes en carton de tailles et de poids variés à l'aide d'un torse humanoïde à double bras. L'objectif principal est d'améliorer l'efficacité, la précision et la fiabilité des tâches de dépalettisation industrielle grâce à l'intégration de la robotique avancée, de la vision par ordinateur et des techniques d'apprentissage profond.Le système URNik-AI est composé de deux bras robotiques UR10 équipés de capteurs de force/torque à six axes et d'outils de préhension. Une caméra RGB-D ASUS Xtion est montée sur des servomoteurs pan-tilt Dynamixel Pro H42 pour obtenir des images haute résolution et des données de profondeur. Le cadre logiciel comprend ROS Noetic, ROS 2 et le framework MoveIt, permettant une communication fluide et une coordination des mouvements complexes. Ce système assure une haute précision dans la détection, la saisie et la manipulation d'objets dans divers environnements industriels.Une contribution importante de cette recherche est l'implémentation de modèles d'apprentissage profond, tels que YOLOv3 et YOLOv8, pour améliorer les capacités de détection et d'estimation de pose des objets. YOLOv3, entraîné sur un ensemble de données de 807 images, a atteint des scores F1 de 0,81 et 0,90 pour les boîtes à une et plusieurs faces, respectivement. Le modèle YOLOv8 a encore amélioré les performances du système en fournissant des capacités de détection de points clés et de squelettes, essentielles pour la manipulation précise des objets. L'intégration des données de nuage de points pour l'estimation de la pose a assuré une localisation et une orientation précises des boîtes.Les résultats des tests ont démontré la robustesse du système, avec des métriques élevées de précision, rappel et précision moyenne (mAP), confirmant son efficacité. Cette thèse apporte plusieurs contributions significatives au domaine de la robotique et de l'automatisation, notamment l'intégration réussie des technologies robotiques avancées et de l'IA, le développement de techniques innovantes de détection et d'estimation de pose, ainsi que la conception d'une architecture de système polyvalente et adaptable.

This PhD thesis explores the development and implementation of URNik-AI, an AI-powered automated depalletizing system designed to handle cardboard boxes of varying sizes and weights using a dual-arm humanoid torso. The primary objective is to enhance the efficiency, accuracy, and reliability of industrial depalletizing tasks through the integration of advanced robotics, computer vision, and deep learning techniques.The URNik-AI system consists of two UR10 robotic arms equipped with six-axis force/torque sensors and gripper tool sets. An ASUS Xtion RGB-D camera is mounted on Dynamixel Pro H42 pan-tilt servos to capture high-resolution images and depth data. The software framework includes ROS Noetic, ROS 2, and the MoveIt framework, enabling seamless communication and coordination of complex movements. This system ensures high precision in detecting, grasping, and handling objects in diverse industrial environments.A significant contribution of this research is the implementation of deep learning models, such as YOLOv3 and YOLOv8, to enhance object detection and pose estimation capabilities. YOLOv3, trained on a dataset of 807 images, achieved F1-scores of 0.81 and 0.90 for single and multi-face boxes, respectively. The YOLOv8 model further advanced the system's performance by providing keypoint and skeleton detection capabilities, which are essential for accurate grasping and manipulation. The integration of point cloud data for pose estimation ensured precise localization and orientation of boxes.Comprehensive testing demonstrated the system's robustness, with high precision, recall, and mean average precision (mAP) metrics confirming its effectiveness. This thesis makes several significant contributions to the field of robotics and automation, including the successful integration of advanced robotics and AI technologies, the development of innovative object detection and pose estimation techniques, and the design of a versatile and adaptable system architecture.