Contributions à la segmentation de séquences d'images au sens du mouvement dans un contexte semi-automatique

Contributions to motion-based segmentation of images sequences in a semi-automatic context

• Auteur / Autrice : Matthieu Fradet
• Direction : Patrick Pérez, Philippe Robert
• Type : Thèse de doctorat
• Discipline(s) : Traitement du signal et télécommunications
• Date : Soutenance en 2010
• Etablissement(s) : Rennes 1
• Ecole(s) doctorale(s) : École doctorale Mathématiques, télécommunications, informatique, signal, systèmes, électronique (Rennes)
• Partenaire(s) de recherche : Autre partenaire : Université européenne de Bretagne (2007-2016)

Mots clés

Mots clés contrôlés

Postproduction (audiovisuel)

Vision par ordinateur

Analyse du mouvement

Analyse de scènes (informatique)

Traitement d'images -- Techniques numériques

Résumé

De nombreuses applications en vision par ordinateur nécessitent la distinction et le suivi des différents objets vidéo constituant une scène dynamique. Dans le contexte de la post-production, la qualité visuelle des résultats est une contrainte si forte qu’un opérateur doit pouvoir intervenir facilement et rapidement pour guider efficacement les traitements. Le but de cette thèse est de proposer de nouveaux algorithmes de segmentation au sens du mouvement. Ce document est décomposé en deux parties. Dans la première partie, deux nouvelles méthodes séquentielles et semi-automatiques de segmentation de séquences d’images au sens du mouvement sont proposées. Toutes deux exploitent la représentation d’une scène par un ensemble de couches de mouvement. L’extraction de ces dernières repose sur différents critères (mouvement, couleur, cohérence spatio-temporelle) combinés au sein d’une fonctionnelle d’énergie minimisée par coupe minimale/flot maximal dans un graphe. La seconde partie présente une nouvelle méthode pour le partitionnement automatique d’un ensemble de trajectoires de points d’intérêt. Chaque trajectoire est définie sur un intervalle temporel qui lui est propre et qui correspond aux instants auxquels le point considéré est visible. Comparée à un mouvement estimé entre deux images, l’information de mouvement fournie par une trajectoire offre un horizon temporel étendu qui permet de mieux distinguer des objets dont les mouvements sont différents. Les méthodes sont validées sur différentes séquences aux contenus dynamiques variés.

Many computer vision applications require the extraction and tracking of the different video objects that compose a dynamic scene. In the context of post-production, the constraint of visual quality of the results is so high that a user must be able to add inputs easily and quickly in order to efficiently help the process. This thesis aims at proposing new motion-based segmentation algorithms. It is composed of two main parts. First, two sequential and semi-automatic methods are proposed for segmenting a video shot in regions of similar motion. Both exploit the multi-layered motion representation of a dynamic scene. It is based on different criteria (motion, colour, spatio-temporal coherence) that are combined into an objective function minimized with Graph Cuts. The second part introduces a new approach to automatically cluster sets of feature point trajectories. Each trajectory has its own life-span. Compared to motion estimated between two images only, motion information provided by a trajectory offer an extended temporal horizon that allows a better distinction of objects whose motions are different. The algorithms are validated on several different sequences with various dynamic contents.