Toward Generalizable, Training-Light Multi-Object Tracking: Diagnostics, Regulated Appearance Cues, and Mask-Enhanced & Learned Association

Vers un suivi multi-objets généralisable et léger : diagnostics, indices d'apparence régulés et association améliorée et apprise par masque

• Auteur / Autrice : Tomasz Stanczyk
• Direction : François Bremond
• Type : Projet de thèse
• Discipline(s) : Automatique traitement du signal et des images
• Date : Inscription en doctorat le 01/02/2023
• Etablissement(s) : Université Côte d'Azur
• Ecole(s) doctorale(s) : École doctorale Sciences et technologies de l'information et de la communication
• Partenaire(s) de recherche : Laboratoire : Spatio-Temporal Activity Recognition Systems

Mots clés

Mots clés libres

Suivi

Détection

Deep learning

Tracking

Detection

Deep learning

Résumé

Ma thèse vise une détection-suivi multi-objets (MOT) robuste, généralisable et training-light, avec un accent sur les scènes sportives et les foules. Elle s'appuie sur trois axes complémentaires : (1) Diagnostic des traqueurs modernes tracking-by-detection : mise en évidence des échecs récurrents (switch d'identité, fragmentation, non-généralisation) et recommandation d'évaluations valorisant la couverture de trajectoires. (2) Évaluation contrôlée du re-identification (re-ID) : analyse des conditions où l'apparence aide réellement, et des cas (occlusion, petite échelle) où elle nuit ; proposition d'un usage sélectif et contraint plutôt qu'une fusion systématique. (3) McByte, une méthode sans entraînement qui exploite la propagation temporelle de masques comme indice d'association avec des politiques d'ambiguïté/isolement ; résultats compétitifs sur plusieurs jeux de données sans réglage par séquence et adoption par la communauté. Les travaux en cours étendent ces contributions : McByte++ améliore la vitesse et la continuité d'identité lors des sorties/retours par une re-ID “gated” (visibilité/échelle/occlusion), tout en restant générique ; parallèlement, l'explainabilité de CAMELTrack introduit des tokens transformeurs spécifiques aux indices (mouvement, apparence, pose) afin d'attribuer, pour chaque association, la contribution de chaque indice. L'objectif global est de réduire l'écart entre heuristiques TbD et association apprise, en combinant indices génériques et interprétables avec une durabilité d'identité adaptée à la pratique. Les livrables incluent code, métriques, outils d'attribution et un manuscrit intégrant diagnostic, lignes directrices sur le re-ID, McByte/McByte++ et l'explainabilité de CAMELTrack.

This PhD targets robust, generalizable, training-light multi-object tracking (MOT) with a focus on sports and crowded human motion. It combines three complementary strands: (1) A diagnostic of modern tracking-by-detection pipelines, revealing persistent failure modes (identity switches, fragmentation, re-entry issues) and generalization gaps from tuned benchmarks to real-world videos, with recommendations to emphasize track coverage in evaluation. (2) A controlled study of appearance re-identification (re-ID) that quantifies when it helps and when it harms (e.g., under occlusion or small scale), arguing for selective, constraint-aware usage instead of blanket fusion. (3) McByte, a training-free tracker that leverages temporally propagated masks as an association cue with ambiguity/isolated-object policies, achieving competitive cross-dataset results without per-sequence tuning and showing strong community uptake. Ongoing work extends these contributions: McByte++ improves runtime and identity durability across exits/re-entries via gated re-ID (visibility/scale/occlusion-aware) while preserving generic design; in parallel, CAMELTrack explainability introduces cue-specific transformer tokens to attribute, for each association decision, the relative influence of motion, appearance, and pose. Overall, the thesis aims to narrow the gap between heuristic TbD and learned association by combining robust generic cues, interpretable learned fusion, and re-entry-aware continuity. Deliverables include open-source code, evaluation tooling, attribution utilities, and an integrated manuscript covering: diagnostics, re-ID guidance, McByte/McByte++, and GAFFE-based explainability within CAMELTrack. The planned defense is April 2026.