Contrôle, basé sur le style, de caméras virtuelles dans des environnements 3D

Style-driven virtual camera control in 3D environments

• Auteur / Autrice : Billal Merabti
• Direction : Kadi Bouatouch, Marc Christie
• Type : Thèse de doctorat
• Discipline(s) : Informatique
• Date : Soutenance le 24/09/2015
• Etablissement(s) : Rennes 1
• Ecole(s) doctorale(s) : École doctorale Mathématiques, télécommunications, informatique, signal, systèmes, électronique (Rennes)
• Partenaire(s) de recherche : PRES : Université européenne de Bretagne (2007-2016)
• Partenaire(s) de recherche : Laboratoire : Institut de recherche en informatique et systèmes aléatoires (Rennes)

Mots clés

Mots clés contrôlés

Infographie

Statistique bayésienne

Markov, Processus de

Mots clés libres

Placement de caméras virtuelles

Animation

Hmm

Informatique graphique

Résumé

Calculer automatiquement une séquence d'images cinématographiquement cohérente, sur un ensemble d'actions qui se produisent dans un monde 3D, est une tâche complexe. Elle nécessite non seulement le calcul des plans de caméra ( points de vue ) et les transitions appropriées entre ces plans (coupures), mais aussi la capacité d'encoder et de reproduire des éléments de style cinématographique. Les modèles proposés dans la littérature, fondés généralement sur des représentations à machines d'états finis (FSMs), fournissent des fonctionnalités limitées pour construire des séquences de plans et ne permettent pas d'effectuer d'importantes variations de style sur une même séquence d'actions. Dans cette thèse, nous proposons d'abord un modèle cinématographique expressif, basé données, qui peut calculer des variations significatives en termes de style, avec la possibilité de contrôler la durée des prises de vue et la possibilité d'ajouter des contraintes spécifiques à la séquence souhaitée. Le modèle est paramétré de manière à faciliter l'application de techniques d'apprentissage pour reproduire des éléments de style extraits de films réels en utilisant une représentation à base de modèle de Markov caché du processus de montage. Le modèle proposé est à la fois plus général que les représentations existantes, et se révèle être plus expressif dans sa capacité à encoder précisément des éléments de style cinématographique pour des scènes de dialogues. Ensuite, nous introduisons une extension plus générique pour généraliser notre système de montage afin de traiter des contenus cinématographique plus complexes (autres que les dialogues). Il s'agit d'utiliser des Réseaux bayésiens dynamiques à la place des modèles de Markov à états cachés. Enfin, nous avons conçu un outil d'annotation et un format de représentation de données cinématographiques afin de simplifier le processus de création et de manipulation de ses données. Les données collectées serviront comme bases d'apprentissage pour des techniques basées données, telles que les nôtres, ainsi que pour l'analyse de films.

Automatically computing a cinematographically consistent sequence of shots, over a set of actions occurring in a 3D world, is a complex task which requires not only the computation of appropriate shots (viewpoints) and appropriate transitions between shots (cuts), but the ability to encode and reproduce elements of cinematographic style. The models proposed in the literature, generally rule-based, provide limited functionalities to build sequences of shots. These approaches are not designed in mind to easily learn elements of cinematographic style, nor do they allow to perform significant variations in style over the same sequence of actions. In this thesis, we first propose a data-driven model for automated cinematography (framing and editing) that can compute significant variations in terms of cinematographic style, with the ability to control the duration of shots and the possibility to add specific constraints to the desired sequence. By using a Hidden Markov Model representation of the editing process, we demonstrate the possibility of easily reproducing elements of style extracted from real movies. The proposed model is more elaborate in handling dialogue scenes than existing representations, and proves to be more expressive in its ability to precisely encode elements of cinematographic style. Then, we introduce an extension of this model to account for more complex environments (more than dialogues). To this end, we use a more general statistical model: Dynamic Bayesian Network, which enlarges considerably the possibilities in editing and film analysis. We finally designed a data annotation tool and a format to easily create film annotations that would be used for data-driven cinematography or film analysis.