Définition d’un algorithme de localisation d’objets à partir de flux vidéos provenant de plusieurs caméras et évaluation sur MPSoC FPGA

Definition of an object localization algorithm based on video streams from multiple cameras and evaluation on an MPSoC FPGA

• Auteur / Autrice : Denis Shemonaev
• Direction : Christophe Jego
• Type : Thèse de doctorat
• Discipline(s) : Electronique
• Date : Soutenance le 27/05/2024
• Etablissement(s) : Bordeaux
• Ecole(s) doctorale(s) : École doctorale des sciences physiques et de l'ingénieur
• Partenaire(s) de recherche : Laboratoire : Laboratoire de l'intégration du matériau au système (Talence, Gironde)
• Jury : Président / Présidente : Daniel Chillet
• Jury : Examinateurs / Examinatrices : Anthony Besseau
• Jury : Rapporteurs / Rapporteuses : Matthieu Arzel, Andrea Pinna

Mots clés

Mots clés contrôlés

Algorithmes

Traitement d'images -- Techniques numériques

Systèmes embarqués (informatique)

Mots clés libres

Système embarqué

FPGA

Synthèse Haut Niveau

Suivi d'objet

Localisation d'objet

Embedded system

FPGA

High Level Synthesis

Object Tracking

Object Localization

Résumé

Le récent essor des Convolutional Neural Network (CNN) a permis des avancées considérables dans l’exploitation d’informations visuelles par l’ordinateur. En particulier, la détection et le suivi multi-objets sont des tâches très convoitées par l’industrie notamment pour l’inspection de défauts ou la gestion d’un inventaire. Cependant, une grande puissance de calcul est requise pour obtenir des performances en temps réel. L’informatique en nuage répond en partie à ce besoin, en déportant les calculs loin du capteur vers des serveurs dédiés souvent pourvus de GPU puissants mais gourmands en énergie. Cette approche a plusieurs défauts, notamment pour des applications critiques au niveau du temps d’exécution ou nécessitant la non-communication des données. Ainsi, à l’aube de l’industrie 4.0, les acteurs se tournent plutôt vers l’informatique en périphérie. Ce paradigme préconise d’allouer les ressources de calcul au plus proche du capteur. Les plateformes matérielles de type MPSoC FPGA se distinguent par leur flexibilité et leur efficacité calculatoire. Néanmoins, les méthodologies proposées par les fabricants (AMD, Intel) pour intégrer des fonctions de vision par ordinateur au sein de ces plateformes sont récentes et complexes à mettre en oeuvre. En particulier, il n’existe pas de méthodologie pour développer des applications exploitant plusieurs caméras. Les travaux de thèse présentés dans ce manuscrit portent sur le développement d’un algorithme de localisation d’objets à partir de plusieurs flux vidéos dans le but d’une intégration sur une plateforme NATvision, plateforme basée sur un MPSoC FPGA et proposée par la société EMG2 SAS. NATvision est une solution qui regroupe un environnement matériel complet et modulaire, basée sur la technologie MicroTCA, et un environnement logiciel permettant le pilotage de l’ensemble. Cet environnement permet de regrouper plusieurs cartes au sein d’un châssis, offrant ainsi une possibilité d’expansibilité La première contribution de cette étude est la définition d’un algorithme modulaire permettant le traitement et la fusion d’informations provenant de plusieurs flux vidéo. Une attention particulière a été portée sur l’exécution de l’algorithme afin de simplifier son utilisation ainsi que l’intégration de nouveaux développements. Le prototype développé a été évalué sur un PC portable, avec trois flux vidéo provenant d’un détecteur d’objets entrainé sur un jeu de données réduit à trois classes. Une deuxième contribution concerne la sélection, la simplification et l’implémentation d’un algorithme de suivi multi-objets sur MPSoC FPGA. Des expérimentations ont été effectuées dans le but d’accélérer l’algorithme multi-objets SORT sur MPSoC FPGA ont été effectuées. Une étude comparative d’implémentations logicielles optimisées (SIMD) et matérielles obtenues à l’aide d’outils de synthèse HLS a été menée. Dans ce cadre, un accélérateur matériel pour résoudre les problèmes d’affectation a été implémenté et évalué sur MPSoC FPGA (KV260). Finalement, cela a permis l’implémentation d’une chaine complète de détection et de suivi d’objets sur une plateforme de test à base de MPSoC FPGA. Après évaluation sur un jeu de données MOT15, composé de scènes différentes provenant du benchmark MOTChallenge, cette implémentation permet d’atteindre des performances temps réels (>15 FPS) en gardant une précision proche d’une implémentation sur GPU.

The recent rise of Convolutional Neural Networks (CNNs) has enabled significant advances in the extraction of visual information by computers. In particular, multi-object detection and tracking are highly required tasks in industry, for applications such as defect inspection or inventory management. However, achieving real-time performance requires significant computational power. Cloud computing partially addresses this need by offloading calculations from the sensor to dedicated servers equipped with powerful but energy-hungry GPUs. However, this approach has several drawbacks, especially for time-critical applications or those requiring data confidentiality. Therefore, at the dawn of Industry 4.0, actors are turning to Edge computing. This paradigm advocates allocating computational resources as close as possible to the sensor. Hardware platforms such as FPGA MPSoCs stand out for their flexibility and computational efficiency. However, the methodologies proposed by manufacturers (AMD, Intel) for integration of computer vision functions into these platforms are recent and complex to leverage. In particular, there is no methodology for the development of applications that make use of multiple camera inputs. The thesis work presented in this manuscript focuses on the development of an object localization algorithm from multiple video streams, targeted toward the NATvision platform, an MPSoC FPGA-based platform proposed by EMG2 SAS. NATvision is a solution that combines a complete, modular hardware environment, based on MicroTCA technology, with a software environment that enables the control of the whole system. The first contribution of this study is the definition of a modular algorithm for processing and merging information from several video streams. Particular attention has been paid to the execution of the algorithm to simplify its use and the integration of new developments. The prototype was evaluated on a laptop with three video streams passing through an object detector trained on a dataset reduced to three classes. The second contribution concerns the selection, simplification, and implementation of a multiple object tracking algorithm on an FPGA MPSoC. Experiments were conducted to accelerate the Simple Online Real-time Tracking (SORT) algorithm on an FPGA MPSoC. A comparative study of optimized software implementations (SIMD) and hardware implementations obtained using an HLS synthesis tool was conducted. In this context, a hardware accelerator for solving linear sum assignment (LSAP) problems was implemented and evaluated on an FPGA MPSoC. Ultimately, this enabled the implementation of a complete chain of object detection and tracking on a prototype platform based on an FPGA MPSoC (KV260). After evaluation on a MOT15 dataset, composed of different scenes from the MOTChallenge benchmark, this implementation achieves real-time performance (>15 FPS) while maintaining accuracy close to a GPU implementation.