Robots à Deux Bras pour la Récolte de Précision des Fruits en Environnement Agricole

Dual-Arm Robots for Precision Fruit Harvesting in Agricultural Environments

• Auteur / Autrice : Ege Gursoy
• Direction : Andrea Cherubini
• Type : Thèse de doctorat
• Discipline(s) : Systèmes Automatiques et Micro-Électroniques
• Date : Soutenance le 18/12/2024
• Etablissement(s) : Université de Montpellier (2022-....)
• Ecole(s) doctorale(s) : École doctorale Information, Structures, Systèmes (Montpellier ; 2015-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire d'informatique, de robotique et de micro-électronique (Montpellier ; 1992-....)
• Jury : Président / Présidente : Olivier Strauss
• Jury : Examinateurs / Examinatrices : Akansel Cosgun, Marija Popovic
• Jury : Rapporteurs / Rapporteuses : Youcef Mezouar, Viviane Cadenat

Mots clés

Mots clés contrôlés

Vision

Intelligence artificielle

Robotique

Mots clés libres

Robotique

Vision

Intelligence Artificielle

Planification du mouvement

Robotics

Vision

Artificial Intelligence

Motion Planning

Résumé

L'intérêt pour la robotique agricole a considérablement augmenté en raison de son potentiel à accroître la productivité et à réduire la main-d'œuvre dans l'agriculture. Cependant, développer des systèmes robotiques pour la récolte de fruits dans des environnements non structurés présente des défis importants, notamment en ce qui concerne la perception, la planification et la manipulation par les robots.Pour relever ces défis, nous proposons un robot à deux bras qui intègre perception et contrôle pour la détection et la récolte des fruits. Équipé d'une caméra RGB-D et d'outils pour couper et collecter les fruits, le robot utilise une stratégie de contrôle basée sur la programmation quadratique hiérarchique (HQP) pour évoluer dans ces environnements complexes tout en respectant des contraintes telles que les limites articulaires, les collisions internes et les collisions potentielles avec les fruits et l’arbre. En combinant l'apprentissage profond avec le traitement d'images traditionnel, notre approche permet une détection et un suivi précis des fruits et des troncs d'arbres dans des environnements contrôlés. Ces méthodes sont validées par des tests en conditions réelles sur des images RGB-D et des simulations, démontrant la robustesse et la fiabilité du système.Dans cette optique, la recherche s’étend à l’optimisation de l'efficacité et de l'adaptabilité des robots à deux bras grâce à des algorithmes de planification et de programmation globale. Pour faire face à la nature dynamique et imprévisible des environnements agricoles, nous mettons en œuvre un algorithme de planification basé sur le Problème du Voyageur de Commerce (TSP) afin de minimiser la distance nécessaire pour récolter tous les fruits visibles. La planification globale des mouvements garantit une opération sans collisions, augmentant à la fois la sécurité et l'efficacité. Cette méthodologie est validée à l’aide de deux robots distincts : Baxter, un robot accessible et largement disponible, et BAZAR, une plateforme à deux bras de haute précision développée au LIRMM. Des expériences en conditions réelles sur des pommes et des oranges illustrent l’adaptabilité de nos méthodes.De plus, notre travail aborde les défis spécifiques liés aux occultations pendant la récolte des fruits. Ces occultations peuvent entraîner une localisation imprécise ou empêcher le robot de cueillir le fruit. Nous avons développé une méthode pour les identifier, en utilisant une combinaison d'apprentissage profond et de techniques de traitement d'images traditionnelles, puis pour les lever, en faisant pousser le bras du robot contre la branche responsable de l'occultation. Notre configuration utilise une caméra RGB-D et un seul bras robotisé pour détecter les fruits partiellement occultés et estimer l'apparence complète à l'aide d'un réseau neuronal génératif. Une extension novatrice en 3D de la transformée de Hough 2D détecte les branches dans le nuage de points, permettant ainsi au robot d'identifier quelles branches causent des occultations, et de les pousser convenablement. Cette technique a été testée sur différents types de fruits et dans diverses conditions d'éclairage, prouvant son efficacité pour augmenter la visibilité et dégager les obstructions, et garantissant ainsi une récolte fructueuse.En intégrant ces trois stratégies : la coordination des robots à deux bras pour une récolte robuste, l’optimisation de la planification et de la programmation pour l’efficacité, et la gestion dynamique des occultations pour la précision, notre recherche présente une solution originale aux complexités de la récolte robotisée des fruits dans des environnements non structurés.

Interest in agricultural robotics has significantly increased due to its potential to increase productivity and reduce labor in farming. However, developing robotic systems for fruit harvesting in unstructured environments presents considerable challenges, particularly regarding robot perception, planning, and manipulation.To address these challenges, we propose a dual-arm robot that integrates perception and control for fruit detection and harvesting. The robot, equipped with an RGB-D camera and with tools for cutting and collecting fruit, uses a Hierarchical Quadratic Programming (HQP) control strategy to move in such complex environments while obeying constraints such as joint limits, self-collisions, and potential collisions with both the fruit and tree. By combining deep learning with traditional image processing, our approach enables accurate detection and tracking of fruits and tree trunks in controlled environments. These methods are validated through real-world testing on RGB-D images and simulations, demonstrating the robustness and reliability of the system.Building on this, our research extends to optimize the efficiency and adaptability of dual-arm robots through global planning and scheduling algorithms. To cope with the dynamic and unpredictable nature of agricultural settings, we implement a scheduling algorithm based on the Traveling Salesperson Problem (TSP) to minimize the distance required to harvest all visible fruits. Global motion planning ensures collision-free operation, increasing both safety and efficiency. Our methodology is validated using two distinct robots: Baxter, a cost-effective and widely available robot, and BAZAR, a custom-built, high-precision dual-arm platform. Real-world experiments conducted on apples and oranges illustrate the adaptability of our methods.Additionally, our work tackles the specific challenges caused by occlusions during fruit harvesting, occlusions which can lead to inaccurate localization or impede the robot from picking the fruit. We developed a method to identify these occlusions using a combination of deep learning and traditional image processing techniques, then clear them by having the robot arm push the branch responsible for the occlusion. Our setup uses an RGB-D camera and a single robot arm to detect partially occluded fruits and estimate their full appearance with a generative neural network. A novel 3D extension of the 2D Hough transform detects tree branches in the point cloud, allowing the robot to identify which branches cause occlusions and to strategically push them aside. This technique has been tested across different fruit types and lighting conditions, proving its effectiveness in increasing visibility and clearing obstructions, thus ensuring successful fruit harvesting.By integrating these three strategies: coordinating dual-arm robots for robust harvesting, optimizing planning and scheduling for efficiency, and dynamically handling occlusions for accuracy, our research presents a comprehensive solution to the complexities of robotic fruit harvesting in unstructured environments.