Dynamic and robust object tracking for activity recognition

• Auteur / Autrice : Duc Phu Chau
• Direction : Monique Thonnat, François Brémond
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance en 2012
• Etablissement(s) : Nice
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication (Nice ; 1992-....)

Mots clés

Mots clés contrôlés

Apprentissage automatique

Reconnaissance des formes (informatique)

Résumé

Cette thèse présente une nouvelle approche pour contrôler des algorithmes de suivi d’objets mobiles. Plus précisément, afin de s’adapter aux variations contextuelles de suivi, cette approche apprend à régler les paramètres des algorithmes de suivi d’objets basés sur l’apparence ou sur les points d’intérêt. Le contexte de suivi d’une vidéo est défini par un ensemble de caractéristiques : la densité des objets mobiles, leur niveau d’occultation, leur contraste et leur surface 2D. Dans une phase d’apprentissage supervisée, des valeurs de paramètres satisfaisantes sont déterminées pour chaque séquence d’apprentissage. Puis ces séquences sont classifiées en groupant leurs caractéristiques contextuelles. A chaque contexte, sont associées les valeurs de paramètres apprises. Dans la phase de contrôle en ligne, deux approches sont proposées. Pour la première approche, quand le contexte change, les paramètres sont réglés en utilisant les valeurs apprises. Pour la deuxième, le réglage des paramètres est réalisé quand le contexte change et quand la qualité de suivi (calculée par un algorithme d’évaluation en ligne) n’est pas assez bonne. Un processus d’apprentissage en ligne met à jour les relations contextes/paramètres. L’approche a été expérimentée avec des vidéos longues, complexes et plusieurs ensembles de vidéos publiques. Cette thèse propose cinq contributions : (1) une méthode de classification des vidéos pour apprendre hors-ligne les paramètres de suivi, (2) un algorithme d’évaluation en ligne du suivi, (3) une méthode pour contrôler en ligne le suivi, (4) un algorithme de suivi pouvant s’adapter aux conditions de la scène, (5) une méthode de suivi robuste basée sur le filtre de Kalman et un suivi global.

This thesis presents a new control approach for mobile object tracking. More precisely in order to cope with the tracking context variations, this approach learns how to tune the parameters of tracking algorithms based on object appearance or points of interest. The tracking context of a video sequence is defined as a set of features : density of mobile objects, their occlusion level, their contrasts with regard to the background and their 2D areas. Each contextual feature is represented by a code-book model. In an offline supervised learning phase, satisfactory tracking parameters are searched for each training video sequence. Then these video sequences are classified by clustering their contextual features. Each context cluster is associated with the learned tracking parameters. In the online control phase, two approaches are proposed. In the first one, once a context change is detected, the tracking parameters are tuned using the learned values. In the second approach, the parameter tuning is performed when the context changes and the tracking quality (computed by an online evaluation algorithm) is not good enough. An online learning process enables to update the context/parameter relations. The approach has been experimented on long, complex videos and some public video datasets. This thesis proposes five contributions : (1) a classification method of video sequences to learn offline the tracking parameters, (2) an online tracking evaluation algorithm, (3) a method to tune and learn online the tracking parameters, (4) a tunable object descriptor-based tracking algorithm enabling adaptation to scene conditions, (5) a robust mobile object tracker based on Kalman filter and global tracking.