Suivi d'un objet pour la télévision interactive

Object tracking for interactive television

• Auteur / Autrice : Rémi Trichet
• Direction : Bernard Merialdo
• Type : Thèse de doctorat
• Discipline(s) : Signal et images
• Date : Soutenance en 2008
• Etablissement(s) : Paris, ENST

Mots clés

Mots clés contrôlés

Chaînes de télévision payantes

Télévision interactive

Multimédias interactifs

Résumé

Cette thèse s’inscrit dans le cadre du projet européen porTiVity. Ce système nécessitait un outil d’annotation vidéo permettant au producteur de sélectionner et de suivre automatiquement un objet vidéo. Cet outil impliquait la création d’algorithmes pour un suivi d’objet générique apte à gérer tous les types de difficultés envisageables. Les points d’intérêts ou points-clés nous sont apparus comme un outil adapté à la réalisation de cette tâche. L’objet est représenté par un nuage de points de Harris, chacun décrit par 18 moments mathématiques. Nous avons développé un prétraitement ayant pour but d’exploiter au mieux les canaux couleurs. De plus, notre modèle conserve les points pendant n images limitant ainsi leur instabilité dans le temps, et introduit un délai d’utilisation afin de prévenir les occultations. Nous utilisons également un algorithme de labellisation des points d’intérêts différenciant les points de l’objet de ceux du décor afin de limiter l’influence de ce dernier sur le suivi. Enfin, le système « Fast Harris » accélère l’extraction des points de Harris à l’aide d’une structure similaire à celle des ondelettes de Haar. Nous avons également développé un système d’appariement probabiliste des points-clés, utilisant conjointement les descripteurs des points-clés et leurs relations spatiales. Le mouvement de l’objet est représenté par six paramètres et raffiné en fonction du label des points-clés périphériques. Les performances comparées de notre approche et d’algorithmes de référence en termes de précision du suivi montrent une large prédominance de celui-ci sur un ensemble varié de séquences vidéo.

This thesis takes place in the framework of the European project porTiVity. This system required an annotation video tool allowing the video producer to select and automatically track video objects. This tool entailed the creation of generic object tracking algorithms able to deal with all possible difficulties. The keypoints turned to be the more adapted features to this task. The object is modeled with a cloud of Harris keypoints, each described with 18 mathematical moments. We have developed a pretreatment leading to a better exploitation of the color channels. Moreover, our model keeps the keypoints during n frames therefore limiting their instability in time, and introduces a utilization delay in order to prevent occlusions. We are also using a keypoint labeling algorithm differentiating object from background keypoints in order to limit the influence of the latter on the tracking. Finally, the “Fast Harris” system, speed up the keypoint extraction process by using a structure similar to the Haar wavelets. We have also developed a keypoint probabilistic matching algorithm jointly using descriptors and spatial relationships. The object motion is represented with six parameters determined by the least squares method. A bounding box repositioning algorithm using the keypoint labels as well as an adaptation of the model motion according to the background clutter are further perfecting this first estimation of the object supposed position. The compared performances of our approach with references algorithms in terms of tracking accuracy shows a large predominance of the latter on a set of various video.