Suivi visuel et prédiction de mouvement des objets pour véhicules intelligents

visual tracking and object motion prediction for intelligent vehicles

• Auteur / Autrice : Tao Yang
• Direction : Mohammed el- Bagdouri, Yassine Ruichek, Cindy Cappelle
• Type : Thèse de doctorat
• Discipline(s) : Automatique
• Date : Soutenance le 02/05/2019
• Etablissement(s) : Bourgogne Franche-Comté
• Ecole(s) doctorale(s) : École doctorale Sciences pour l'ingénieur et microtechniques (Besançon ; 1991-....)
• Partenaire(s) de recherche : Laboratoire : Connaissance et Intelligence Artificielle Distribuées (CIAD) (Dijon)
• Partenaire(s) de recherche : Etablissement de préparation : Université de technologie de Belfort-Montbéliard (1999-....)
• Jury : Président / Présidente : Maan El Badaoui El Najjar
• Jury : Examinateurs / Examinatrices : Cyril Meurie
• Jury : Rapporteurs / Rapporteuses : Vincent Frémont, Jean-Charles Noyer

Mots clés

Mots clés contrôlés

Kalman, Filtrage de

Véhicules autonomes

Capteurs (technologie)

Lidar

Mots clés libres

Suivi mono-Objet

Suivi multi-Objets

Prédiction de mouvement

Acquisition comprimée

Apprentissage profond

Single object tracking

Multi-Object tracking

Motion prediction

Compressive sensing

Deep learning

Résumé

Le suivi d’objets et la prédiction de mouvement sont des aspects importants pour les véhicules autonomes. Tout d'abord, nous avons développé une méthode de suivi mono-objet en utilisant le compressive tracking, afin de corriger le suivi à base de flux optique et d’arriver ainsi à un compromis entre performance et vitesse de traitement. Compte tenu de l'efficacité de l'extraction de caractéristiques comprimées (compressive features), nous avons appliqué cette méthode de suivi au cas multi-objets pour améliorer les performances sans trop ralentir la vitesse de traitement. Deuxièmement, nous avons amélioré la méthode de suivi mono-objet basée sur DCF en utilisant des caractéristiques provenant d’un CNN multicouches, une analyse de fiabilité spatiale (via un masque d'objet) ainsi qu’une stratégie conditionnelle de mise à jour de modèle. Ensuite, nous avons appliqué la méthode améliorée au cas du suivi multi-objets. Les VGGNet-19 et DCFNet pré-entraînés sont testés respectivement en tant qu’extracteurs de caractéristiques. Le modèle discriminant réalisé par DCF est pris en compte dans l’étape d'association des données. Troisièmement, deux modèles LSTM (seq2seq et seq2dense) pour la prédiction de mouvement des véhicules et piétons dans le système de référence de la caméra sont proposés. En se basant sur des données visuelles et un nuage de points 3D (LiDAR), un système de suivi multi-objets basé sur un filtre de Kalman avec un détecteur 3D sont utilisés pour générer les trajectoires des objets à tester. Les modèles proposées et le modèle de régression polynomiale, considéré comme méthode de référence, sont comparés et évalués.

Object tracking and motion prediction are important for autonomous vehicles and can be applied in many other fields. First, we design a single object tracker using compressive tracking to correct the optical flow tracking in order to achieve a balance between performance and processing speed. Considering the efficiency of compressive feature extraction, we apply this tracker to multi-object tracking to improve the performance without slowing down too much speed. Second, we improve the DCF based single object tracker by introducing multi-layer CNN features, spatial reliability analysis (through a foreground mask) and conditionally model updating strategy. Then, we apply the DCF based CNN tracker to multi-object tracking. The pre-trained VGGNet-19 and DCFNet are tested as feature extractors respectively. The discriminative model achieved by DCF is considered for data association. Third, two proposed LSTM models (seq2seq and seq2dense) for motion prediction of vehicles and pedestrians in the camera coordinate are proposed. Based on visual data and 3D points cloud (LiDAR), a Kalman filter based multi-object tracking system with a 3D detector are used to generate the object trajectories for testing. The proposed models, and polynomial regression model, considered as baseline, are compared for evaluation.