La structuration sémantique des contenus des documents audiovisuels selon les points de vue de la production

Semantic structuration of audiovisual contents from production points of view

• Auteur / Autrice : Thi Minh Phung Bui
• Direction : Jean-Pierre Balpe
• Type : Thèse de doctorat
• Discipline(s) : Sciences de l'information
• Date : Soutenance en 2003
• Etablissement(s) : Paris 8

Mots clés

Mots clés contrôlés

Recherche

Sémiotique

Médias audiovisuels -- Production et réalisation

Indexation automatique

XML (langage de balisage)

Résumé

Dans le contexte des progrès sensibles en termes de technologies de l'information et de normes associées à la vidéo, notre travail propose des outils de description flexible et à forte teneur sémantique des contenus audiovisuels au niveau du plan - le PSDS (Production Shot Description Scheme) - orientés par l'approche sémiotique et selon les points de vue des professionnels de la production. Nous constatons que les contenus audio-visuels ont une triple dimension sémantique - la sémantique technique, la sémantique du monde narratif et la sémiotique - et chaque niveau a sa propre description ontologique. La sémiotique complète la sémantique technique et thématique du contenu de la vidéo en expliquant pour quelles raisons les structures dynamiques du texte filmique peuvent produire ces interprétations sémantiques. Mobilisant tant des techniques d'analyse automatiques des média que des modèles existants, des terminologies, des théories et des discours du monde de cinéma, cette approche peut offrir une traduction naturelle et simple entre les différents niveaux sémantiques. La description orientée-objet à multiples points de vue des contenus implique de mettre en évidence dans l'arbre ontologique les unités significatives du domaine et leurs caractéristiques. Ces unités constituent les informations fondamentales pour l'appréhension du sens du récit. Elles sont représentées par des concepts qui constituent un réseau sémantique où les utilisateurs peuvent naviguer à la recherche d'informations. Chaque concept est un nœud du réseau sémantique du domaine visé. Représentées ensuite selon le formalisme Mpeg-7 et XML Schema, les connaissances intégrées dans les schémas de description du plan de la vidéo peuvent servir de base à la construction d'environnements interactifs d'édition des images. La vidéo y devient un flux informationnel dont les données peuvent être balisées, annotées, analysées et éditées. Les métadonnées analysées dans notre travail, comprenant des informations relevant de trois étapes de la production (pré-production, production et post-production) doivent permettre aux applications de gérer et manipuler les objets de la vidéo, ainsi que les représentations de leur sémantique, afin de les réutiliser dans plusieurs offres d'accès telles que l'indexation du contenu, la recherche, le filtrage, l'analyse et l'appréhension des images du film

Video content based indexing is highly related in one hand to the progress of new technologies, and image, audio and multimedia processes. In another hand, it relies on the power and skill of video and multimedia representation standards and domain knowledge organisation. Presently, video content representation is expecting the extension of standards for representing media contents in order to capture the semantics of media in deeper structures and provide formal and rich semantic description. Our work proposes a flexible and high level semantic video content description in the frame of the Production Shot Description Schema (PSDS) from the semiotic approach and the points of view of audiovisual production professionals. We analyse the video content into three semantic layers-sensory, narrative and semiotic - and each level provides its particular ontological description. The semiotic completes the technical and narrative dimensions in explaining the way the dynamic structures of the filmic text manages to produce theses two first semantic interpretations in terms of structural organisation. Semiotic approach facilitates to link the representation of the sensory level with the significance of media structures from one's semiotic points of view and audiovisual professionals classification reasoning. Using both media content automatic detection/recognition process and models, theories, discourses, and terminology of the cinema world, this approach can provide a natural and simple translation between the different semantic levels. We use an object-oriented, multi-points of view, video content description which implies to build the ontological tree of the described domain by selecting significant and essential information and their features. Represented as concepts, they constitute a semantic network where users can browse and retrieve information related with the described contents. Each concept is a node of the concerned domain semantic network. The knowledge associated in the PSDS is then structured by Mpeg-7 and XML Schema formalisms and can be used as the basis to build interactive environments for images edition. Video is an information stream in which data can be marked, annotated, analysed, and edited. Our description metadata format involves information about different steps of the production ((pre-production, production et post-production) in order to facilitate management and handling of video objects as well as representation of their significance. They can be reused in many access frameworks such as content based indexation, retrieval, filtering, analysis and movie apprehension