Implantation temps réel deComptage de personnes dans une foule sur architecture reconfigurable embarquée sur un drone

Real-time implementation of counting people in a crowd on the embedded reconfigurable architecture on the unmanned aerial vehicle

• Auteur / Autrice : Songchenchen Gong
• Direction : El-Bay Bourennane
• Type : Thèse de doctorat
• Discipline(s) : Instrumentation et informatique de l'image
• Date : Soutenance le 13/11/2020
• Etablissement(s) : Bourgogne Franche-Comté
• Ecole(s) doctorale(s) : École doctorale Sciences Physiques pour l'Ingénieur et Microtechniques (Besançon ; 1991-....)
• Partenaire(s) de recherche : Laboratoire : Imagerie et Vision Artificielle (ImVia) (Dijon)
• Partenaire(s) de recherche : Etablissement de préparation : Université de Bourgogne (1970-2024)
• Jury : Président / Présidente : Fan Yang Song
• Jury : Rapporteurs / Rapporteuses : M-Tahar Kechadi, Hassan Rabah

Mots clés

Mots clés contrôlés

Traitement d'images

Comptages

Drones

Mots clés libres

Caractéristiques de texture

Fpga

M-Mcnn

Détection de contours

Edge detection

Texture features

Fpga

M-Mcnn

Résumé

Le comptage des foules est un sujet de recherche important. De nos jours, la population est de plus en plus préoccupée par les problèmes de sécurité. Lorsque la densité de population atteint des pics élevés, les systèmes de comptage se mettent en route et analyse les foules, afin de réorienter le surplus de personnes lorsque le seuil normal est dépassé. Avec ce genre de système, le piétinement du nouvel an de Shanghai ne se reproduirait plus. Actuellement, le comptage de population rencontre deux problèmes majeurs : l’analyse des foules dans les zones à forte densité de population, ou comment faire pour que le modèle distingue le plus finement possible les caractéristiques d’une tête humaine d’une part; et comment trouver une caractéristique de tête dans une image avec une large gamme de densité de population d’autre part. L’aspect le plus critique pour cette analyse est l’impossibilité d’installer un système de vidéosurveillance intelligent dans certains lieux publics. Dans ces conditions, comment pourrions-nous estimer la densité de population dans ces zones afin d’éviter de futurs accidents ? Face à ces défis, nous proposons la mise en œuvre d’une architecture embarquée reconfigurable en temps réel pour le comptage des personnes dans les zones de regroupement. Premièrement, notre travail intègre les fonctionnalités de HOG et LBP, qui non seulement combinent les informations d’identifications de multiples caractéristiques, mais également la plupart des informations redondantes, réalisant ainsi une compression efficace des informations, économisant ainsi de l’espace mémoire pour le stockage des données. Pour le comptage de personnes dans une foule, nous utilisons plusieurs sources d’informations, à savoir HOG, LBP et le filtrage de CANNY. Ces sources fournissent des estimations distinctes du nombre de personnes comptées et d’autres mesures statistiques de classification, par le biais du vecteur de support machine SVM. Dans le même temps, afin de résoudre efficacement le problème d’extraction des fonctionnalités liées à l’échelle dans le comptage de foules, nous proposons un nouveau environnement M-MCNN basé sur MCNN utilisé pour le comptage de foules sur une seule image. M-MCNN contient non seulement les trois colonnes originales des réseaux de neurones convolutionnels avec différentes tailles de filtres, mais aussi remplace les couches entièrement connectées par une couche convolutionnelle de filtre 1*1, de sorte que l’image d’entrée du modèle peut être de n’importe quelle taille. De plus, pour un échantillon individuel, nous améliorons considérablement l’apprentissage des caractéristiques de l’échantillon en extrayant les caractéristiques de texture d’une seule tête humaine et mieux l’utiliser pour les jeux de données. Enfin, nous implémentons notre nouveau framework M-MCNN sur un FPGA et l’installons sur un drone pour estimer et prévoir la zone de foule à haute densité en temps réel. Notre modèle a obtenu de bons résultats en comptage de personnes dans une foule.

The crowd counting task is an important research problem. Now more and more people are concerned about safety issues. Considering the scenario of a crowded scene: a population density system analyzes the crowds and triggers a warning to divert the crowds when their population density exceeds a normal range. With such a system, the incident of the Shanghai New Year's stampede will not happen again. The most difficult problem of population counting at present: On the one hand, in the densely populated area, how to make the model distinguish human head features more finely, such as head overlap. The second aspect is to find a small-scale local head feature in an image with a wide range of population density. The most critical aspect, in some public places, is that we can not install an intelligent video surveillance system. So how do we estimate the high-density crowd area to avoid crowd trampling accidents? Facing these challenges, we propose implementation of real time reconfigurable embedded architecture for people counting in a crowd area. First, our work integrates the features of HOG and LBP, which not only combines the effective identification information of multiple features, but also eliminates most of the redundant information, thereby realizing effective compression of information, saving information storage space. Then, in terms of crowd counting, we use multiple sources of information, namely HOG, LBP and CANNY based filtering. These sources provide separate estimates of the number of counts and other statistical measures, through the support vector Machine SVM, classification. At the same time, in order to effectively solve the problem of extracting scale-related features in crowd counting. We propose a new framework M-MCNN based on MCNN for crowd counting on any single image. M-MCNN not only contains the original three columns of convolutional neural networks with different filter sizes, but replaces the fully connected layers with a convolutional layer of 1*1 filters, so the input image of the model can be of any size. Moreover, in a single individual sample, we greatly improve the learning of sample features by extracting the texture features of a single human head , and better use it for datasets. Finally, we implement our new framework M-MCNN through FPGA, and transplant it on the drone to estimate and predict the high-density crowd area in real time. Our model achieved good results in crowd counting.