Reconnaissance d'objets dans des images couleur+profondeur et application aux images viticoles

Object recognition in color+depth images and application to vineyard images

• Auteur / Autrice : Maxime Morisset
• Direction : Marc Donias, Christian Germain
• Type : Projet de thèse
• Discipline(s) : Automatique, Productique, Signal et Image, Ingénierie cognitique
• Date : Inscription en doctorat le 20/10/2023
• Etablissement(s) : Bordeaux
• Ecole(s) doctorale(s) : École doctorale des sciences physiques et de l’ingénieur (Talence, Gironde ; 1995-....)
• Partenaire(s) de recherche : Laboratoire : Laboratoire de l'Intégration du Matériau au Système
• Partenaire(s) de recherche : Equipe de recherche : MOTIVE

Mots clés

Mots clés libres

Vigne

Imagerie Couleur + Profondeur

Rgb+d

Apprentissage Profond

Carte de disparité

Grapevine

Color + Depth imaging

Rgb+d

Deep Learning

Disparity map

Résumé

La conduite technique des exploitations agricoles s'appuie de plus en plus sur des capteurs de vision, que ce soit pour la surveillance des cultures ou pour l'automatisation de certaines tâches. C'est tout particulièrement le cas en viticulture, pour laquelle la nécessaire transition écologique, associée à un manque récurrent de main d'œuvre qualifié requiert une surveillance accrue et des actions aussi précoces que possible pour la conduite du vignoble. Des systèmes de caméras fixes, et mobiles apparaissent. Elles reposent le plus souvent sur des technologies 2D : images couleur (RGB) ou multispectrale (RGB + Proche Infrarouge). Dans le même temps, de nouveaux systèmes d'imageries apparaissent et fournissent des images « couleur + profondeur » (RGB+D). Ces systèmes s'appuient sur la stéréovision, sur des caméras « time of flight », ou sur la projection de motifs. Certains parmi ces dispositifs ont montré un potentiel intéressant pour des applications viticoles lors d'essais préliminaires. Dans le cadre d'un projet collaboratif soutenu par la Banque Publique d'Investissement (Programme Innover pour la transition Agro-écologique), cette thèse vise à investiguer plus en profondeur le potentiel des images RGB+D pour la reconnaissance des organes de la vigne, de leur stade phénologique et de l'état de santé de la plante. Plus globalement le projet associe le laboratoires IMS, Bordeaux Sciences Agro et un acteur industriel. La thèse porte sur le développement de nouvelles méthodologies pour la reconnaissance et la localisation d'objets (organes, symptômes) sur des images RGB+D. Un état de l'art exhaustif des approches de détection et de localisation d'objets s'appuyant sur une information optique couplée à une information de profondeur native ou induite sera réalisé. Seront répertoriés et étudiés les principes, l'apport et les performances d'architectures prenant en compte soit (i) une seule information optique RGB couplée à une carte de disparité D issue d'un capteur spécifique, soit (ii) une information optique RGB stéréoscopique pour laquelle une carte de disparité est calculée implicitement ou par des techniques dédiées. L'axe méthodologique principal visé concerne les dispositifs RGB+D et des architectures notamment d'apprentissage profond seront implémentées et évaluées. Toute approche concurrente pertinente ayant été identifiée sera comparée. D'un point de vue applicatif, les objets à détecter et à localiser sont les inflorescences, les baies, les grappes, les pédoncules, les feuilles, les sarments, les bourgeons, les entrenœuds et les ceps. Ces éléments structuraux ou organes de la vigne permettront d'identifier l'état phénologique ainsi que l'état de santé à travers des symptômes de maladies ou de risques reconnaissables à des déformations, à une coloration anormale ou à la présence de motifs colorés sur les feuilles, à une disposition particulière de grappes, de baies et de sarments. Selon la conformation des organes, l'identification d'une posture adéquate de capteur pourra être opérée afin d'accroitre la visibilité. La définition et la mise en œuvre des dispositifs expérimentaux permettant d'éprouver les approches développées seront réalisées en collaboration avec l'équipe projet.

The technical management of farming operations increasingly relies on vision sensors, whether for crop monitoring or for the automation of certain tasks. This is particularly the case in viticulture, where the necessary ecological transition, combined with a recurring shortage of skilled labor, calls for increased surveillance and the earliest possible action in vineyard management. Fixed and mobile camera systems are emerging. Most are based on 2D technologies: color (RGB) or multispectral (RGB + Near Infrared) images. At the same time, new imaging systems are emerging to provide ''color + depth'' (RGB+D) images. These systems are based on stereovision, time-of-flight cameras or pattern projection. Some of these devices have shown interesting potential for viticultural applications in preliminary trials. As part of a collaborative project supported by the Banque Publique d'Investissement (Programme Innover pour la transition Agro-écologique), this thesis aims to further investigate the potential of RGB+D images for the recognition of grapevine organs, their phenological stage and the plant's state of health. More generally, the project involves the IMS laboratory, Bordeaux Sciences Agro and an industrial player. The thesis focuses on the development of new methodologies for the recognition and localization of objects (organs, symptoms) on RGB+D images. An exhaustive state-of-the-art of object detection and localization approaches based on optical information coupled with native or induced depth information will be carried out. The principles, contribution and performance of architectures taking into account either (i) a single RGB optical information coupled to a D disparity map from a specific sensor, or (ii) a stereoscopic RGB optical information for which a disparity map is calculated implicitly or by dedicated techniques, will be listed and studied. The main methodological focus is on RGB+D devices, and deep learning architectures in particular will be implemented and evaluated. Any relevant competing approaches identified will be compared. From an application point of view, the objects to be detected and localized are inflorescences, berries, clusters, peduncles, leaves, shoots, buds, internodes and vines. These structural elements or organs of the vine allow us to identify the phenological state of the vine, as well as its state of health, through symptoms of disease or risks recognizable by deformations, abnormal coloration or the presence of colored patterns on the leaves, or a particular arrangement of bunches, berries and shoots. Depending on the shape of the organs, a suitable sensor position can be identified to increase visibility. The definition and implementation of experimental devices to test the approaches developed will be carried out in collaboration with the project team.